現(xiàn)在，就是AI大模型在端側(cè)應(yīng)用的春天！

無論全球芯片巨頭，還是“AI手機(jī)”、“AIPC”廠商們，都在發(fā)力AI大模型的端側(cè)應(yīng)用。

是什么讓大家蜂擁而至？

“天下武功，唯快不破”

當(dāng)數(shù)十億個(gè)端側(cè)設(shè)備都在不停地調(diào)用云端大模型，估計(jì)沒有任何一個(gè)服務(wù)器受得了。因此，能夠提供即時(shí)推理決策的端側(cè)能力是AI大模型進(jìn)一步提高應(yīng)用滲透率的關(guān)鍵。

來看看我們的主角：商湯「日日新 5.0端側(cè)大模型」

它有多優(yōu)秀？

性能實(shí)現(xiàn)同等尺度性能最優(yōu)，跨級(jí)尺度全面領(lǐng)先。

BenchMark成績(jī)顯示，「日日新5.0端側(cè)大模型」SenseChat-Lite 1.8B全面領(lǐng)先所有開源2B同級(jí)別模型，甚至在大部分測(cè)試中跨級(jí)擊敗了Llama2-7B、13B模型。

? ?

同時(shí)，在實(shí)際應(yīng)用中，為進(jìn)一步提高各類終端任務(wù)處理靈活性，它還引入端云聯(lián)動(dòng)的MoE框架，可針對(duì)不同行業(yè)應(yīng)用設(shè)置不同的云端聯(lián)動(dòng)配比，在性能、速度和成本間取得平衡，獲得最佳推理效果。

▎AI大模型端側(cè)應(yīng)用，不僅拼性能，還拼“手速”

下面，我們一起看看商湯端側(cè)大模型的實(shí)際表現(xiàn)。

首先，是純端側(cè)大模型推理速度。

目前商湯「日日新5.0端側(cè)大模型」語言模型能力的推理速度達(dá)到了業(yè)內(nèi)最快，對(duì)比人眼20字/秒的閱讀速度，可在中端性能手機(jī)上達(dá)到18.3字/秒的推理速度。

在高端旗艦手機(jī)上，推理速度更是達(dá)到78.3字/秒！

例如，手機(jī)斷網(wǎng)模式下生成一個(gè)“理由充分、安排詳實(shí)”的員工休假申請(qǐng)，效果是這樣：

現(xiàn)場(chǎng)原速

離線飛行模式下，打工人也能迅速總結(jié)工作紀(jì)要，生成速度緊跟人眼閱讀節(jié)奏。

現(xiàn)場(chǎng)原速

此外，多模態(tài)圖文能力也是端側(cè)模型在行業(yè)鋪開的關(guān)鍵。

以擴(kuò)圖功能為例，商湯「日日新5.0端側(cè)大模型」擴(kuò)散模型可實(shí)現(xiàn)當(dāng)前業(yè)內(nèi)最快推理速度。

在高通旗艦平臺(tái)上推理速度小于1.5秒，比手機(jī)云端處理快10倍，且支持輸出1200萬像素以上的高清圖片，支持等比擴(kuò)圖、自由擴(kuò)圖、旋轉(zhuǎn)擴(kuò)圖多種圖像編輯功能。

可以看到，在「商湯技術(shù)交流日」現(xiàn)場(chǎng)實(shí)時(shí)演示中，商湯端側(cè)大模型完成3種不同方案的擴(kuò)圖速度比競(jìng)品手機(jī)自帶App擴(kuò)1張圖的速度還快：

旋轉(zhuǎn)擴(kuò)圖效果同樣出色，端側(cè)幾乎是實(shí)時(shí)的：

現(xiàn)場(chǎng)畫面2X速

活動(dòng)現(xiàn)場(chǎng)直接拍照，即時(shí)自由擴(kuò)圖，“自信”瞬間拉滿：

▎「日日新5.0端側(cè)大模型」已開放SDK服務(wù)

可以看到，商湯端側(cè)大模型在語言處理和多模態(tài)交互方面展現(xiàn)了強(qiáng)大的應(yīng)用潛力。

它能夠勝任端側(cè)AI場(chǎng)景中多種任務(wù)，包括日常對(duì)話、常識(shí)問答、文案生成、相冊(cè)管理和圖片創(chuàng)作等，可滿足各類用戶日益普遍的AI應(yīng)用需求。

目前，商湯端側(cè)大模型已開放SDK服務(wù)，全面覆蓋智能手機(jī)、平板電腦、VR眼鏡、車載系統(tǒng)等多樣化的設(shè)備場(chǎng)景，為開發(fā)者和制造商提供豐富的應(yīng)用適配空間。

最后，讓我們聽聽商湯的合作伙伴如何評(píng)價(jià)商湯日日新大模型：

在個(gè)人出行場(chǎng)景，近期火爆市場(chǎng)的小米汽車SU7，小米小愛同學(xué)為車主提供智能化交互體驗(yàn)，當(dāng)中也有集合應(yīng)用了商湯的大模型技術(shù)能力，有基于商湯端云大模型解決方案；小米集團(tuán)小愛總經(jīng)理王剛表示：“商湯的云邊端全棧組合，可以很好地賦能和適配小米物聯(lián)網(wǎng)生態(tài)。我們希望與商湯共同為我們的用戶打造更具智能化的產(chǎn)品體驗(yàn)?！?/p>

▎One More Thing：端側(cè)智能體is coming

著眼未來，端側(cè)大模型還將走向更高階應(yīng)用——端側(cè)智能體。

有啥效果？

通過語音直接給手機(jī)下任務(wù)，智能體就會(huì)自動(dòng)調(diào)用手機(jī)中各種應(yīng)用完成任務(wù)：

審核編輯：劉清