跑大語言模型的門檻，已經(jīng)降低到一部iPhone了。

當(dāng)然安卓版本也有，只要手機(jī)RAM夠6G，聽上去是不是比用2060還要震撼？

而且這次還是開箱即用的版本！

這個項(xiàng)目名為MLC LLM，與之前的WebLLM同出自知名學(xué)者陳天奇團(tuán)隊(duì)。

截止目前已在GitHub上斬獲超6800星。

目前可以測試的模型有羊駝家族（基于LLaMA）的RedPajama和Vicuna。

可選模型參數(shù)分別為30億和70億，與很多在線Demo規(guī)模也相當(dāng)了。

RedPajama團(tuán)隊(duì)表示，這一成果打開了大模型私有化部署的可能性。

話不多說，快來看看體驗(yàn)如何。

文字功底尚可，但理科是短板

我們選擇了其中的Vicuna模型進(jìn)行測試。

首先測試一下它的文學(xué)造詣，于是讓它為四個季節(jié)分別寫了一首詩。

韻律嗎，基本上是兩三句一押。

除了詩歌，故事也能創(chuàng)作，甚至還能寫出內(nèi)心戲來。

不只是愛情，其他類型的故事也難不倒它。

除了文學(xué)上的應(yīng)用，我們不妨再來試試它的實(shí)用功能。

我們讓它生成了一道夏威夷披薩的菜譜，看上去還蠻不錯。

旅游計(jì)劃也可以讓它來安排。

我們再來看看它在理工科上的表現(xiàn)怎么樣。

首當(dāng)其沖的是代碼，我們讓它嘗試用Python寫了一段尋找最大數(shù)的代碼。

想不到上來就是一通枚舉……不過結(jié)果倒也是符合要求。

defmax_of_three(num1,num2,num3):
ifnum1>num2andnum1>num3:
returnnum1
elifnum2>num1andnum2>num3:
returnnum2
elifnum3>num1andnum3>num2:
returnnum3
returnNone

num1=11
num2=45
num3=14
max_value=max_of_three(num1,num2,num3)
print("Themaximumvalueis:",max_value)

不過遇到稍難的問題，它的編程能力就有些捉襟見肘了。

至于數(shù)學(xué)和邏輯推理則一言難盡，不過畢竟為適配手機(jī)參數(shù)有限，倒也情有可原。

我們還試了試用中文進(jìn)行提問，但發(fā)現(xiàn)目前對中文的適配還有些問題。

另外，移動APP目前還不具有保存聊天記錄功能，切出界面時(shí)一定要小心小心再小心。

雖然目前能在手機(jī)上跑的大模型能力還有限，但團(tuán)隊(duì)也展示了未來更多發(fā)展方向。

比如為用戶定制模型并與云端公共基礎(chǔ)模型交互、提供離線支持、App嵌入、去中心化等等。

如何安裝

這款大模型支持iOS、安卓移動設(shè)備，以及Windows和Mac

iOS用戶可以先安裝好TestFlight，然后從下面的傳送門申請測試：

傳送門：https://testflight.apple.com/join/57zd7oxa

如果名額已滿，也可以用GitHub上的代碼自行編譯安裝

傳送門：https://github.com/mlc-ai/mlc-llm

安卓用戶直接下載apk安裝即可，第一次運(yùn)行時(shí)需聯(lián)網(wǎng)下載數(shù)據(jù)包。

傳送門：https://github.com/mlc-ai/binary-mlc-llm-libs/raw/main/mlc-chat.apk

桌面用戶請參閱官方教程：

傳送門：https://mlc.ai/mlc-llm/