ICML（International Conference on Machine Learning）是機器學習領(lǐng)域的頂級學術(shù)會議之一，由國際機器學習學會（IMLS）主辦，被中國計算機學會認定為A類會議。會議涵蓋了機器學習的各個前沿方向，包括但不限于深度學習、強化學習、自然語言處理、計算機視覺、貝葉斯方法及優(yōu)化算法等。

近日，ICML 2025公布了本屆論文審稿結(jié)果，思必馳-上海交大聯(lián)合實驗室2篇論文被收錄。本次收錄的論文成果聚焦大語言模型可靠性、可解釋性前沿研究方向，針對復雜任務執(zhí)行與工具幻覺應對、大模型內(nèi)部模塊功能探測等關(guān)鍵技術(shù)取得重要突破，不僅增強了大模型在嚴肅場景下的可靠任務執(zhí)行能力，還為產(chǎn)業(yè)級大模型的可解釋審計、推理加速與低成本定制部署提供了全新技術(shù)路徑。兩項成果共同助力思必馳“讓大模型更可靠、更可控、更高效”，以下為兩項成果介紹：

大模型與工具協(xié)作的可靠性

Reducing Tool Hallucination via Reliability Alignment

針對大語言模型（LLMs）與外部工具交互中出現(xiàn)的工具幻覺問題，提出“Relign” 可靠性對齊框架，通過定義工具幻覺類型并引入RelyToolBench基準集，強化了模型在工具選擇和使用上的可靠性，顯著降低大模型的工具幻覺率并減少無效調(diào)用次數(shù)，從而同步提升任務成功率并節(jié)省算力與接口成本。

論文簡介：大型語言模型（LLMs）的能力已從單純的語言生成擴展到與外部工具的交互，從而實現(xiàn)了自動化和現(xiàn)實世界的應用。然而，工具幻覺（tool hallucinations）——即模型選擇不恰當?shù)墓ぞ呋蝈e誤使用工具——帶來了重大挑戰(zhàn)，導致任務執(zhí)行錯誤、計算成本增加以及系統(tǒng)可靠性降低。為系統(tǒng)性地解決這一問題，我們將工具幻覺定義并分類為兩種主要類型：工具選擇幻覺（tool selection hallucination）和工具使用幻覺（tool usage hallucination）。為評估和緩解這些問題，我們提出了RelyToolBench，該基準集整合了專門的測試案例和新穎的指標，用于評估考慮幻覺的任務成功率和效率。最后，我們提出了Relign，一個可靠性對齊框架，該框架將工具使用的動作空間擴展為包含猶豫性動作，允許LLMs推遲使用工具、尋求澄清或動態(tài)調(diào)整工具選擇。通過大量實驗，我們證明Relign 能顯著減少工具幻覺，提升任務可靠性，并提高LLM工具交互的效率。

大模型可解釋性與輕量化

Heads up! Large Language Models Can Perform Tasks Without Your Instruction via Selective Attention Head Masking

針對大語言模型內(nèi)部模塊組合的功能探測問題，提出二元注意力頭掩碼功能分區(qū)方法，可快速識別執(zhí)行特定任務所需的關(guān)鍵注意力通路，并支持解釋性、剪枝加速與小參數(shù)微調(diào)三合一，該成果助力思必馳在保持模型性能的同時大幅降低定制與部署成本。

論文簡介：大語言模型（LLM）由眾多Transformer模塊構(gòu)成，雖然這些模型可以執(zhí)行各種功能，但如何將這些模塊組合起來以展現(xiàn)各自獨特的內(nèi)在功能仍然是一個懸而未決的問題。本文研究了LLM內(nèi)部的模塊，并證明在推理過程中，僅通過屏蔽或保留特定的注意力頭，LLM便能展現(xiàn)出特定任務的功能，而無需明確的指令或修改模型參數(shù)。針對不同模型和任務的實驗表明，LLM天生編碼了“功能路徑”——這是一組結(jié)構(gòu)化的、相互依賴的注意力頭群，它們對于執(zhí)行特定任務至關(guān)重要。這些路徑不僅決定了模型的功能行為，還提高了參數(shù)效率，因為抑制路徑之外的注意力頭可以改善任務性能。

長期以來，思必馳深度參與國內(nèi)外學術(shù)前沿研究，在ICASSP、INTERSPEECH、ACL、EMNLP、AAAI、ICML等頂級學術(shù)會議上屢獲佳績，持續(xù)產(chǎn)出高質(zhì)量科研成果。思必馳-上海交大聯(lián)合實驗室憑借一系列高水平論文，彰顯了在人工智能語音語言關(guān)鍵技術(shù)領(lǐng)域的深度探索和重大突破，為行業(yè)的發(fā)展注入了強大動力。思必馳秉持科研與產(chǎn)業(yè)應用緊密結(jié)合的理念，未來也將持續(xù)探索科技成果的應用轉(zhuǎn)化。

作為專業(yè)的對話式人工智能平臺型企業(yè)，思必馳具有源頭技術(shù)創(chuàng)新和應用創(chuàng)新的能力，自2022年7月獲國家科技部批準建設“語言計算國家新一代人工智能開放創(chuàng)新平臺”以來，接連于2023-2024年獲批組建蘇州市、江蘇省、長三角三級創(chuàng)新聯(lián)合體，并于2025年攜手上海交通大學、蘇州大學，牽頭組建“江蘇省語言計算及應用重點實驗室”，成為國家人工智能戰(zhàn)略科技力量的重要組成部分。

思必馳承擔了包括國家重點研發(fā)計劃、國家發(fā)改委“互聯(lián)網(wǎng)+”重大工程和人工智能創(chuàng)新發(fā)展工程、國家工信部人工智能與實體經(jīng)濟深度融合項目、長三角科技創(chuàng)新共同體聯(lián)合攻關(guān)計劃項目等十余項國家級、省部級項目，展現(xiàn)出卓越的科研實力與項目落地能力。

思必馳深耕語音語言領(lǐng)域，憑借自主研發(fā)的核心技術(shù)多次在國際研究機構(gòu)評測中奪得冠軍；曾三度斬獲國內(nèi)人工智能最高獎“吳文俊獎”，榮獲中國專利優(yōu)秀獎，以及信通院車載智能語音交互系統(tǒng)最高級別認證等重要榮譽。技術(shù)創(chuàng)新能力備受全球矚目，被高盛全球人工智能報告列為關(guān)鍵參與者，也被Gartner評為東亞五大明星AI公司之一。

截至2024年年底，思必馳擁有近100項全球獨創(chuàng)技術(shù)，已授權(quán)知識產(chǎn)權(quán)1597件，其中已授權(quán)發(fā)明專利633項，參與了71項國家/行業(yè)/團體標準，獲得23項國家級的產(chǎn)品認證。近期，大模型人機對話技術(shù)創(chuàng)新與產(chǎn)業(yè)賦能發(fā)展提速，思必馳堅持自主的大模型技術(shù)路線，即“構(gòu)建可靠性優(yōu)先的1+N分布式智能體系統(tǒng)：1 個中樞大模型+ N 個垂域模型及全鏈路交互組件組成全功能系統(tǒng)”，以任務型交互為核心，結(jié)合智能硬件感知優(yōu)勢，構(gòu)建垂域大模型和中樞大模型系統(tǒng)，服務企業(yè)客戶。