ChatGPT 在全球范圍內(nèi)掀起了一場技術(shù)革命與商業(yè)浪潮，AI 市場也迎來了前所未有的機遇與增量。

當前，AI 基礎(chǔ)設(shè)施的算力、算法呈現(xiàn)新 “摩爾定律”：相同算力下能訓練生產(chǎn)更優(yōu)質(zhì)的模型，同時最先進的 AI 模型約每幾個月算力需求就會擴大一倍。

根據(jù)斯坦福大學和麥肯錫聯(lián)合發(fā)布的《2019 人工智能指數(shù)報告》，2012 年之前最先進 AI 模型計算量每兩年翻一倍；2012 年之后計算量每 3.4 個月翻一番，從 2012 年到 2020 年 3 月已增長 30 萬倍。

伴隨著大模型的快速迭代，其對算力的要求也不斷提高，而算力的核心就是人工智能芯片。因此，如何在新趨勢、新挑戰(zhàn)下快速響應(yīng)客戶需求，推出切實可用的軟硬件解決方案，成為了擺在國內(nèi) AI 芯片企業(yè)面前的首要課題。

擁抱變化，聚焦提升產(chǎn)品力

ChatGPT 及大模型技術(shù)大會上，昆侖芯科技研發(fā)總監(jiān)王志鵬表示：“作為一家芯片公司，需要對市場的需求和變化非常敏感，才能使硬件產(chǎn)品始終精準匹配主流需求?！?/p>

大模型對計算的要求主要體現(xiàn)在三個方面，一是算力，二是互聯(lián)，三是成本。就大模型而言，昆侖芯科技在產(chǎn)品定義上已經(jīng)做出布局 —— 相較第一代產(chǎn)品，昆侖芯 2 代 AI 芯片可大幅優(yōu)化算力、互聯(lián)和高性能，而在研的下一代產(chǎn)品則將提供更佳的性能體驗。

昆侖芯科技成立于 2021 年，前身為百度智能芯片及架構(gòu)部。在實際業(yè)務(wù)場景中深耕 AI 加速領(lǐng)域已逾 10 年，專注打造擁有強大通用性、易用性和高性能的通用人工智能芯片。

在持續(xù)推進核心技術(shù)攻關(guān)的同時，昆侖芯科技緊密關(guān)注科技前沿，精準匹配市場需求。目前，公司已實現(xiàn)兩代通用 AI 芯片的量產(chǎn)及落地應(yīng)用，在互聯(lián)網(wǎng)、智慧金融、智慧交通等領(lǐng)域已規(guī)模部署數(shù)萬片。

昆侖芯在大模型場景的規(guī)模落地實踐

“來自真實場景” 一直是昆侖芯科技最獨特的身份標簽，也是其規(guī)模部署數(shù)萬片、在行業(yè)內(nèi) “領(lǐng)跑落地” 的核心優(yōu)勢所在。

王志鵬認為，只有基于真實業(yè)務(wù)場景中的數(shù)據(jù)進行端到端優(yōu)化，才能順利推進大模型落地。

目前市場上主流的大模型以 Transformer 架構(gòu)為主，包含 Encoder 和 Decoder。Encoder 主要被應(yīng)用于各類 NLP 的判別類任務(wù)；而 Decoder 更多被應(yīng)用于翻譯、圖文生成等場景，最近出圈的 ChatGPT 就是典型代表。

針對大模型，昆侖芯持續(xù)打磨部署優(yōu)化方案，領(lǐng)跑產(chǎn)業(yè)落地。昆侖芯已將大模型的 Transformer 相關(guān)優(yōu)化技術(shù)沉淀為重要基建，優(yōu)化后的性能比原有方案提升 5 倍以上，壓縮顯存 30% 以上。

以文生圖大模型為例，昆侖芯已跑通一條端到端優(yōu)化、規(guī)模落地之路。

AI 繪畫模型的推理算力及顯存需求隨圖像分辨率增大而指數(shù)級增加，同時，圖像生成需要循環(huán)采樣數(shù)十次，產(chǎn)業(yè)落地動輒需要高昂成本的部署集群，嚴重阻礙了 AIGC 模型大規(guī)模商業(yè)化落地。

2022 年第四季度，昆侖芯聯(lián)合客戶，基于飛槳 PaddlePaddle 發(fā)起了端到端聯(lián)合優(yōu)化項目。在 2-3 周內(nèi)，項目組快速完成端到端優(yōu)化，最終實現(xiàn)輸入文本后 2 秒出圖的優(yōu)化效果，性能提升近 8 倍。

目前，昆侖芯 AI 加速卡 R200 已在該客戶的大模型場景完成規(guī)模部署，性能數(shù)據(jù)全面超越同系列主流推理卡：

基于昆侖芯 AI 加速卡 R200 高效運算與推理能力，綜合優(yōu)化方案，在 dpm-25steps 算法下，利用昆侖芯 AI 加速卡 R200，生成 1024*1024 圖像時的推理速度為 10.89 iters/s，相比同能力的主流推理卡快 20%。

昆侖芯 AI 加速卡 R200 擁有 32G GDDR6 顯存，為大規(guī)模參數(shù)提供更大的存儲容量、更高帶寬的內(nèi)存訪問、更穩(wěn)定的性能，生成更高分辨率的圖片，為用戶提供高性價比服務(wù)。

與此同時，面向當前市場需求迫切的大模型場景，據(jù)悉昆侖芯科技即將推出一款加速器組解決方案。

該加速器組搭載第二代昆侖芯 AI 芯片，是 AI 基礎(chǔ)設(shè)施的重要組成部分，為 AI IAAS 平臺、 AI PAAS 平臺提供堅實算力支撐。該產(chǎn)品可提供更為集約的 AI 算力，具備分布式集群部署能力，支持彈性 RDMA 網(wǎng)絡(luò)，對比傳統(tǒng)網(wǎng)絡(luò)通信時延降低 2~3 倍。該產(chǎn)品可明顯提高并行加速比，訓推一體化助力提高資源利用率，極大提升模型開發(fā)迭代效率。

攜手上層伙伴共拓 AI 芯生態(tài)

ChatGPT 及大模型技術(shù)大會上，與會者提問：在生態(tài)建設(shè)方面，國內(nèi) AI 芯片產(chǎn)業(yè)面臨的客觀情況是什么？

這也是昆侖芯科技經(jīng)常被客戶提及的現(xiàn)實問題。

昆侖芯科技在努力進一步擴大生態(tài)影響力：首先要深刻理解客戶的使用習慣，滿足客戶需求，踏踏實實把軟硬件從產(chǎn)品和技術(shù)上做到位。隨著產(chǎn)品的規(guī)模部署，客戶越來越多，生態(tài)也就自然而然建立起來了。與此同時，產(chǎn)品也會因此得到更好的打磨，進入良性循環(huán)。

在昆侖芯科技看來，AI 芯片看似是一個硬件，但其本質(zhì)則是一款軟件產(chǎn)品。這也證明了軟件棧、生態(tài)對于 AI 芯片發(fā)展的關(guān)鍵作用。

目前，昆侖芯已實現(xiàn)對飛槳的原生適配，并完成了 III 級兼容性測試，訓練與推理性能可以滿足用戶的應(yīng)用需求。從底層 AI 算力組件、AI 服務(wù)器，到操作系統(tǒng)，再到昆侖芯 SDK，昆侖芯和飛槳攜手完成了一套端到端的 AI 計算系統(tǒng)解決方案，并致力于打造一個全棧式軟硬一體的 AI 生態(tài)。

為進一步完善軟件生態(tài)，昆侖芯已與多款通用處理器、操作系統(tǒng)、主流框架完成端到端適配，實現(xiàn)了軟硬件解決方案的技術(shù)棧，為客戶提供開箱即用的 AI 芯片產(chǎn)品。

昆侖芯軟件棧

結(jié)語

談及大模型趨勢下 AI 芯片公司面對的變化，王志鵬說道： “必須快速調(diào)整心態(tài)，并擁抱大模型帶來的變化?！?/p>

而這也剛好印證了昆侖芯科技 “突破創(chuàng)新” 的公司文化：面對瞬息萬變的外部環(huán)境，突破創(chuàng)新是適應(yīng)行業(yè)的唯一方式。

面對復雜多變的市場環(huán)境以及新場景新應(yīng)用對研發(fā)和落地的重重挑戰(zhàn)，國內(nèi) AI 芯片公司如何出圈？

集十余年 AI 加速領(lǐng)域的技術(shù)積淀，曾任百度智能芯片及架構(gòu)部首席架構(gòu)師、現(xiàn)任昆侖芯科技 CEO 歐陽劍認為，“AI 芯片公司應(yīng)抓住場景和技術(shù)創(chuàng)新‘雙驅(qū)動’模式，驅(qū)動架構(gòu)優(yōu)化升級與軟硬件產(chǎn)品迭代，這是持續(xù)保持競爭力的關(guān)鍵?！?/p>

審核編輯 ：李倩