2025年5月23日，新思科技直播間邀請到清華大學電子工程系博士、博士后曾書霖（無問芯穹001號員工）、無問芯穹智能終端技術總監(jiān)胡楊，以及新思科技戰(zhàn)略生態(tài)拓展高級經理傅光弘、新思科技EDA生態(tài)解決方案資深專家孫路，圍繞“AI與芯片雙向驅動的智能時代引擎”展開深度探討。

圓桌實錄

01

學術理想與商業(yè)落地

傅光弘：AI 作為當前科技領域的核心驅動力，正深刻重構各行業(yè)的發(fā)展范式。曾總在清華大學實驗室長期從事軟硬協(xié)同優(yōu)化研究，請問在這一過程中，您觀察到哪些關鍵市場機會，促使您創(chuàng)立無問芯穹并布局云端一體算力產業(yè)？

曾書霖：2017 年本科階段，我在汪玉教授創(chuàng)辦的深鑒科技參與了兩年有余的 FPGA 團隊軟硬協(xié)同研發(fā)工作。深鑒科技被賽靈思收購的完整歷程，讓我系統(tǒng)性經歷了創(chuàng)業(yè)企業(yè)從技術原型開發(fā)到商業(yè)化落地的全周期。

這一時期的AI 技術仍處于 1.0 階段，典型落地場景包括安防、自動駕駛等，模型相對較小，硬件層面更多通過 GPU、ASIC、FPGA 實現(xiàn)性能優(yōu)化。我們當時思考的一個關鍵問題是：一張 GPU 能否承載多個任務？從而提升資源利用率并降低成本。這催生了我們后來提出的“算力虛擬化”概念，即通過系統(tǒng)層調度和軟硬協(xié)同，讓大卡服務更多 workload。

隨后我回到清華，在汪教授課題組開展 AI 加速器方向的博士研究，繼續(xù)探索軟硬協(xié)同在大規(guī)模計算場景中的潛力。我們實驗室還搭建了一個業(yè)界廣為使用的 AI 加速器能效對比平臺，系統(tǒng)性整理了數(shù)百款 CPU、GPU、FPGA、ASIC 的算力與功耗表現(xiàn)。在這個平臺上我們發(fā)現(xiàn)，主流芯片方案在十年間逐漸從低能效區(qū)間向高能效區(qū)間演進，業(yè)界普遍使用“每瓦算力”作為評價標準。

孫路：從芯片設計的角度出發(fā)，您剛才提到算力與功耗的對比，能否分享一下你們如何具體評估不同硬件平臺的“能效比”？在大模型場景下，是否也有相應的評價指標？

曾書霖：這是一個非常關鍵的問題。我們對不同芯片的“算力/功耗”進行了定量統(tǒng)計，用圖表方式直觀地呈現(xiàn)每種方案的能效軌跡。例如 GPU 一般位于高功耗高算力區(qū)域，ASIC 則偏向低功耗高效能區(qū)。從 2014 年到現(xiàn)在，整體趨勢是朝著左上角移動，即能效逐年提升。

在大模型時代，由于 Transformer 成為統(tǒng)一建模結構，行業(yè)逐步轉向以 token 為單位進行能效評估?，F(xiàn)在主流標準已從 FLOPS 演化為 token/s（吞吐）和 token/J（每焦能效）。這反映出一個核心趨勢：如何在有限的能量預算下，釋放最大限度的智能水平。

曾書霖：特別是在 2022 年底 ChatGPT 爆發(fā)后，引發(fā)了我們更深的反思：這么多年我們在做軟硬協(xié)同優(yōu)化，現(xiàn)在是否正是它被放大價值的時刻？我們意識到，大模型時代真正的“壁壘”不再只是算法或參數(shù)量，而是“能不能以可負擔的成本去訓練和部署”。

2022 年 ChatGPT 引發(fā)的大模型技術革命，暴露了行業(yè)算力成本高企的核心痛點──中小企業(yè)及科研機構難以負擔大規(guī)模模型訓練與推理的算力成本?；诖?，我們希望將清華實驗室積累的軟硬協(xié)同技術進行產業(yè)化轉化，通過降低算力準入門檻、提升異構計算能效，這正是無問芯穹的創(chuàng)立初衷。

傅光弘：胡總擁有英特爾邊緣計算研發(fā)及創(chuàng)業(yè)公司 CTO 經歷，在加入無問芯穹時，您如何判斷 AI 領域的市場機遇？未來無問芯穹在 AI 產業(yè)中將如何定位？

胡楊：從個人職業(yè)軌跡看，我長期深耕終端技術領域，涵蓋無人機邊緣計算解決方案、工業(yè)物聯(lián)網等場景。隨著 AI 技術的爆發(fā)及其產業(yè)化價值的提升，若要探索前沿技術，需選擇以大模型為底層技術架構的平臺型企業(yè)，以把握 AI 2.0 時代的核心機遇，而非局限于追逐短期技術熱點。清華校友的技術理念共鳴，成為我加入的重要契機。

在英偉達憑借 GPU+CUDA 算力生態(tài)主導 AI 2.0 標準的行業(yè)格局下，無問芯穹聚焦產業(yè)中游，通過跨平臺算子優(yōu)化與模型量化技術構建通用推理引擎。這一定位旨在彌合非 CUDA 生態(tài)廠商的技術能力斷層，同時以標準化方案提升全行業(yè)推理效能，實現(xiàn) “向上托舉產業(yè)應用、向下兼容多元生態(tài)” 的雙重價值，推動行業(yè)整體技術能力的提升。

曾書霖：具體而言，無問芯穹的技術路徑可概括為 “云端 - 終端算力樞紐優(yōu)化”──在云端構建異構芯片互聯(lián)的算力融合平臺，實現(xiàn)數(shù)據(jù)中心多元算力的協(xié)同調度；在終端針對小型化設備特性，從應用層、模型層到軟件 / 硬件層進行跨層迭代優(yōu)化，致力于捕捉下一個終端大模型的爆發(fā)性場景（如 “端側智能設備的顛覆性創(chuàng)新時刻”）。

02

AI for Chip：重構芯片設計生產力

傅光弘：新思科技作為深耕中國市場 30 年的 EDA 領軍企業(yè)，在 AI 技術浪潮下推出了全球首個 AI 驅動 EDA 套件 Synopsys.ai。請孫老師介紹該套件如何賦能芯片設計工程師？

孫路：芯片設計的核心是在復雜參數(shù)空間中實現(xiàn)最優(yōu)解的搜索，傳統(tǒng)方法依賴工程師經驗進行多輪試錯，效率受限。AI 技術通過大數(shù)據(jù)分析與算法建模，可顯著提升這一過程的自動化水平。

新思科技于 2021 年率先推出 DSO.AI 工具，聚焦設計空間優(yōu)化（Design Space Optimization），隨后延伸出 VSO.AI（驗證優(yōu)化）、ASO.AI（模擬電路優(yōu)化）、TSO.AI（測試優(yōu)化）等模塊，并于 2022-2023 年整合為 Synopsys.ai 套件。

Synopsys.ai 融合微軟訓練出的 Copilot 技術構建 AI 助手，可基于新思內部積累的工程數(shù)據(jù)訓練模型，自動生成多類型設計匹配方案。其核心優(yōu)勢在于：

代碼質量可靠性：依托企業(yè)級數(shù)據(jù)訓練，確保生成代碼符合工程規(guī)范；

跨領域知識融合：集成多專業(yè)設計規(guī)則，提升復雜場景下的設計效率。

作為覆蓋架構探索─設計實現(xiàn)─制造驗證全流程的 AI 驅動解決方案，Synopsys.ai 通過以下能力重構生產力：

數(shù)字化設計空間優(yōu)化：基于 AI 算法快速收斂功耗 / 性能 / 面積（PPA）目標，提升開發(fā)效率；

模擬設計自動化：支持跨工藝節(jié)點的設計遷移，縮短模擬電路開發(fā)周期；

智能驗證與測試：加速驗證覆蓋率收斂，自動生成優(yōu)化測試模式，提升缺陷檢測效率；

制造良率優(yōu)化：通過 AI 建模加速光刻工藝開發(fā)，提升芯片量產良率。

傅光弘：無問芯穹在算力平臺中整合多元品牌芯片并進行 AI 優(yōu)化，這類技術路徑將為行業(yè)帶來哪些變革？

曾書霖：無問芯穹的核心目標是實現(xiàn)算力資源普惠化（算力平權）──通過兼容英偉達及其他廠商的算力芯片，打破生態(tài)壁壘，擴大行業(yè)可用算力池。我們通過 AI 技術在大模型訓練 / 推理的性能、成本、兼容性之間尋找最優(yōu)平衡點，結合軟硬協(xié)同與多元異構計算能力，以更低門檻為企業(yè)提供適配其需求的大模型解決方案。

傅光弘：不同芯片架構的算子遷移需重新適配，無問芯穹如何提升這一過程的效率？

曾書霖：CUDA 生態(tài)的競爭力源于其覆蓋千萬級算子的開源迭代體系，而大模型通過 Transformer 架構將多元任務統(tǒng)一為 Token 序列處理，顛覆了 AI 1.0 時代 “一場景一適配” 的模式。當前僅需針對 Transformer 核心算子（約 20 個）進行優(yōu)化，并結合芯片編程接口調優(yōu)，部分優(yōu)化經驗可跨架構復用。

未來我們計劃引入大模型的智能體（Agent）能力，借鑒 EDA 自動化優(yōu)化思路，構建算子遷移的智能適配框架，通過模型自主學習降低多芯片適配的人力成本。

傅光弘：AI 技術在壓縮設計周期的同時，對芯片設計提出了更高要求。如何實現(xiàn)更高效的芯片設計？

孫路：當前芯片設計面臨 “PPA 優(yōu)化鴻溝”──理論最優(yōu)解與工程實現(xiàn)間存在顯著差距，尤其在物理布局階段，百萬級模塊的全局優(yōu)化受限于算法復雜度與算力瓶頸。傳統(tǒng) EDA 工具可快速輸出次優(yōu)解，但難以突破理論上限。

谷歌與英偉達分別探索了數(shù)據(jù)驅動（強化學習建模布局問題）與算力驅動（GPU 暴力枚舉）路徑：前者需數(shù)十塊 GPU 耗時數(shù)日訓練，成本高昂；后者依賴海量算力，資源消耗顯著。兩者的產業(yè)化可行性仍需驗證，核心矛盾在于工程效率與極致性能的權衡──如何在現(xiàn)有約束下通過場景化優(yōu)先級設定，建立新的優(yōu)化平衡點，仍是行業(yè)待解難題。

曾書霖：現(xiàn)有設計工具多基于經驗規(guī)則實現(xiàn)快速經濟解，但人類工程師的知識邊界限制了創(chuàng)新空間。大模型作為智能體（Agent）可模擬科研過程，通過數(shù)學建模探索更高理論上限。例如，將 EDA 問題抽象為數(shù)學優(yōu)化任務，大模型可通過學習現(xiàn)有解法，自主發(fā)現(xiàn)新理論范式，降低問題復雜度。這種 “工具調用 + 自主探索” 的路徑 ，可能開辟芯片設計的新維度。

03

Chip for AI：算力革命的底層引擎

傅光弘：FlightVGM抹平了英偉達GPU 21倍的算力差距，未來無問芯穹在AI芯片的優(yōu)化方向是什么，又如何進一步的降低大模型的推理以及部署的成本？

曾書霖：FlightVGM是無問芯穹和清華大學、上海交通大學聯(lián)合的研究工作，主要通過軟硬協(xié)同理念，嘗試在有限的資源下去提升算力。

FPGA因為架構的問題與GPU的差距越來越大，于是我們通過從模型到軟件到硬件這種跨層的協(xié)同優(yōu)化，使得FPGA平臺的算力達到了幾十倍的能效提升。未來，我們還會堅定的使用軟硬協(xié)同思想去設計芯片和AI系統(tǒng)。

另外，要想達到目標，還需要對應用場景足夠理解，才好去對模型或者是對底層的一些架構做一些針對性的設計，因此這個工作也算是我們一個產學研的合作范例。

未來，我覺得一個大的趨勢是如何結合這種新的模型架構與異構GPU，然后通過計算通訊的優(yōu)化，達到整體推理成本的降低。

在芯片層面，在邊緣端的場景，較低功耗與普通性能基本夠用，所以低功耗低成本但是能滿足應用需求也是一個不錯的路徑。

傅光弘：國內小而分散的算力較多，無問芯穹是否有考慮將這些算力整合在一起，為大模型或應用公司提供訓練或推理的算力服務？

胡楊：無問芯穹在算力產業(yè)鏈中可以比喻成做納管服務，即將客戶的GPU匯集成一個算力池，之后我們做算力資源的分割與調配，這個池子的GPU和地點都可以是分布式的，然后統(tǒng)一運營。所以，國內的小的分散的算力都可以加入到無問芯穹的算力池中。

曾書霖：客戶的關注點主要在于性價比與算力的穩(wěn)定性，無問芯穹在保證性價比足夠高的同時也通過一些軟件上的容錯優(yōu)化，來保證訓練過程中單點的失效不會對整個任務產生比較大的影響。另外，我認為EDA的關鍵是如何將不同的數(shù)據(jù)匯聚到一起，然后迭代一個統(tǒng)一的模型，這個模型再反過來又能加速各個芯片的自身的匹配的優(yōu)化。所以，無問芯穹完全可以滿足中小算力企業(yè)或者大模型公司的算力要求。

04

直播間互動

傅光弘：AI 芯片的軟硬件協(xié)同優(yōu)化，其核心關鍵點和瓶頸分別體現(xiàn)在哪些方面？

曾書霖：軟硬件協(xié)同的核心在于跨層系統(tǒng)優(yōu)化的目標一致性。這一過程本質上是復雜的優(yōu)化問題──無論是芯片設計還是算法開發(fā)，均需圍繞明確的性能指標（如功耗、延遲、面積）進行資源調度。以通用型 AI 芯片（如 GPGPU）為例，設計需在維持架構通用性的同時，通過精簡非必要功能提升效率。

當前的瓶頸集中于目標指標的權衡取舍：若未來大模型統(tǒng)一為 Transformer 架構，硬件架構需針對其計算特性進行定向優(yōu)化，剝離冗余模塊以實現(xiàn)性能突破，但這會犧牲通用性。此時，設計的核心矛盾轉化為對優(yōu)先級的判斷──例如，邊緣設備更注重低功耗，數(shù)據(jù)中心則側重算力密度。

此外，人類認知與工具能力的局限性也是關鍵挑戰(zhàn)?，F(xiàn)有 EDA 工具難以在復雜設計空間中找到全局最優(yōu)解，需依賴工程師對應用場景的深刻理解，通過優(yōu)先級排序引導工具迭代。未來智能化 EDA 工具（如 Synopsys.ai）將輔助加速這一過程，但場景化需求的精準捕捉仍是核心前提。

孫路：我們在服務用戶的過程中發(fā)現(xiàn)，不同的芯片項目對設計目標的側重點不一樣。比如，大型芯片項目通常最關注的是性能，其次才是功耗和面積。但對于小芯片來說，面積受限、量產需求高、成本敏感，所以并不會對性能要求特別苛刻。

這也意味著我們的EDA軟件必須是通用平臺，既要服務高端芯片設計，也要滿足小型芯片的成本效率需求。我們的 DSO.AI 和 ASO.AI 工具正是為此而生，它們可以幫助用戶設定多個優(yōu)化目標，并在所謂的“帕累托邊界”上找到一個最合適的、綜合表現(xiàn)最優(yōu)的解決方案。

相比之下，很多人類工程師在做設計優(yōu)化時，往往只盯著一個極限指標，比如只追求最高性能，而忽略了其他因素的平衡。但真正好的多目標優(yōu)化結果，可能并不在單一維度的極限點上，而是在多個維度取得平衡的邊界點。這正是AI能幫助我們做到、而人類工程師難以系統(tǒng)處理的關鍵所在。

傅光弘：邊緣端與終端的 AI 芯片架構，與云端數(shù)據(jù)中心相比存在哪些差異？生態(tài)協(xié)同的路徑如何？

胡楊：邊緣端與終端的芯片架構因場景需求不同呈現(xiàn)顯著分化：

邊緣計算架構：聚焦工廠、醫(yī)院等場景，需支持多用戶并發(fā)訪問與數(shù)據(jù)本地化處理，其架構與云端相似，但更注重私域網絡兼容性。設計需圍繞并發(fā)量、模型規(guī)模、本地數(shù)據(jù)交互等因素，構建接近云端的算力調度與網絡拓撲。

終端設備架構：以智能終端為代表，核心需求為隱私保護與實時響應，需在有限算力資源下實現(xiàn)大模型輕量化部署。此時需犧牲部分模型規(guī)模，換取低延遲與數(shù)據(jù)安全性的平衡。

生態(tài)協(xié)同方面，盡管模型架構趨同（如均基于 Transformer），但邊緣側與終端的開發(fā)邏輯差異顯著：前者偏向云化設計（關注算力池調度與并發(fā)性能），后者側重場景化適配（如模型輕量化、本地化知識庫集成）。兩者的協(xié)同需通過標準化接口協(xié)議與跨平臺模型壓縮技術實現(xiàn)，例如通過統(tǒng)一的算子優(yōu)化框架，兼容不同算力節(jié)點的部署需求。

傅光弘：現(xiàn)在很多大芯片都采用了Chiplet的設計方案，在Chiplet設計方案中有哪些是AI可以幫助設計者做的？

孫路：Chiplet 與 3D 集成技術的普及，使芯片設計復雜度呈指數(shù)級增長，人類工程師難以全局優(yōu)化百萬級模塊的 2D 布局與 3D 堆疊方案。傳統(tǒng)試錯法在海量設計空間中效率低下，而 AI 可通過大數(shù)據(jù)建模與預測分析，在設計初期驗證不同堆疊方案的可行性。

新思科技倡導的 “設計前移（Shift-Left）” 理念在此類場景中尤為重要──AI 工具（如 DSO.AI、VSO.AI）可在架構探索階段，通過機器學習預測 PPA（性能 / 功耗 / 面積）表現(xiàn)，提前識別高風險設計路徑。例如，在 3D 堆疊方案鎖定前，AI 可模擬不同模塊互聯(lián)的信號完整性、熱分布等關鍵指標，避免后期工程階段的顛覆性調整（通常需數(shù)月迭代成本）。

本質上，AI 通過壓縮設計空間的搜索維度，在算力與算法的雙重支撐下，實現(xiàn) “早期驗證─快速迭代─精準收斂” 的設計閉環(huán)，推動 Chiplet 技術從概念走向工程化落地。

傅光弘：在芯片設計驗證領域，高精度AI需要大量高質量訓練數(shù)據(jù)，但EDA行業(yè)面臨數(shù)據(jù)封閉的挑戰(zhàn)——企業(yè)不愿共享設計數(shù)據(jù)，而缺乏足夠數(shù)據(jù)又難以訓練有效模型，這個問題應該如何面對呢？

孫路 ：剛才曾總也提到了怎么去生成高質量的數(shù)據(jù)，其實就是非常好的一個來源，就相當于說我們自己寫代碼自己測試，還不錯的丟到庫數(shù)據(jù)庫里去，不斷的自己去寫，而不是去收集現(xiàn)在僅存的這些代碼，但是而且每家代碼都是不一樣的，都是自己保存的，我自己去生成，實際上我想起想起我剛畢業(yè)的時候，我在做軟件開發(fā)的時候，其實就有這樣子的，我們會做很多軟件測試，你新寫的一個方程，你需要很大量的測試集去對它進行測試，其實我們在做這些測試的時候，很多時候都是用的是自動生成的，自動生成的比如說計算器多加一個多加幾位怎么樣，它自動去生成無數(shù)的case，然后去跑去，但是這樣的生成其實并沒有代表并沒有進行專門的測試目的，它只是在堆一個量而已，還是跟我們現(xiàn)在想要的結果差很多。

對話嘉賓介紹

傅光弘，本次圓桌對話主持人，畢業(yè)于加州大學伯克利分校計算機專業(yè)，現(xiàn)任新思科技戰(zhàn)略生態(tài)拓展高級經理，全面負責新思科技在人工智能（AI）和高性能計算（HPC）領域的業(yè)務拓展、戰(zhàn)略投資及生態(tài)建設。

曾書霖，清華大學電子工程系博士、博士后，任徐匯區(qū)工商聯(lián)青年創(chuàng)業(yè)商會模速空間分會會長，主要從事軟硬協(xié)同優(yōu)化研究和AI加速器設計，發(fā)表高水平國際會議/期刊論文18篇，作為無問芯穹001號員工，帶領團隊實現(xiàn)全球首個大模型推理LPU IP，首次在單卡FPGA上實現(xiàn)7B大模型端到端推理。

胡楊，清華大學電子工程系本科，康奈爾大學計算機科學研究生，任上海無問芯穹智能科技有限公司智能終端技術總監(jiān)，曾長期就職于英特爾亞太研發(fā)邊緣計算解決方案部門，亦有無人機創(chuàng)業(yè)企業(yè)CTO經歷，在端側智能領域有豐富的技術與產品經驗積累。

孫路，畢業(yè)于國防科技大學計算機學院微電子與固態(tài)電路設計專業(yè)，現(xiàn)任新思科技EDA生態(tài)解決方案資深產品專家。深耕EDA與集成電路領域14 年，完整經歷從EDA工具開發(fā)、芯片設計技術支持到ASIC設計服務等全產業(yè)鏈環(huán)節(jié)。累計撰寫逾百篇專業(yè)技術科普文章，并依托個人微信公眾號「未來妄想家」獨家連載《硅圖 | EDA商業(yè)發(fā)展史》深度專欄，系統(tǒng)性梳理全球EDA產業(yè)演進脈絡。