明靜不想去醫(yī)院了。

她不想每次走進醫(yī)院時，都被護士或是分診臺導醫(yī)勸說，回家?guī)细改冈賮怼?/p>

“我只是嗓子不舒服，爸媽都65歲了，我不想這點事都讓他們陪?！?/p>

明靜是一名聽障人士。去醫(yī)院看病、接外賣電話、打一輛網(wǎng)約車或是辦一張銀行卡，每一件日常小事，對她這樣的聽障人士而言，都是困難重重。

“執(zhí)教的這幾年，我做得最常見的工作，是陪學生去醫(yī)院看病。”明靜的老師——天津理工大學聾人工學院副院長袁甜甜感慨。

這所專門面向聽障人士的高等工科特殊教育學院，人稱“聾人小清華”，這里，容納著500多名像明靜這樣的學生。

2018年，聾人工學院的老師和學生們共同啟動了智能手語翻譯項目，并孵化出成果公司“鯨言科技”。

近幾年，百度先后與天津理工大學、鯨言科技合作，共同研發(fā)出百度智能云曦靈AI手語平臺與雙向手語翻譯機，讓手語的“聲音”，被更多人聽見。

//缺失的“基礎(chǔ)設(shè)施”

理解AI手語，先要了解聽障人群面臨的問題。第二次全國殘疾人抽樣調(diào)查數(shù)據(jù)顯示，我國大約有2004萬的聽力殘疾人，是世界上聽力殘疾人數(shù)最多的國家。

然而，無論線下線上，都鮮有能真正幫助聽障人群的服務(wù)設(shè)施。據(jù)調(diào)查，我國全職從事手語翻譯職業(yè)的人員不足千人，約97%的聾人因為手語翻譯的缺失面臨就診困難的問題。

手語是大多數(shù)聽力殘疾人的第一語言。但是，作為視覺語言，手語與健全人使用的有聲語言有著天然的不同，這種不同造就了聽障人群特有的思維邏輯，也構(gòu)成了他們對有聲語言的理解困難。

袁甜甜從語言學的角度舉例，如果聽障人士說“滅火”，最先打出的手語是“火”，因為在視覺語言里最先出現(xiàn)的是所要闡述的重點人事物，聽障人士習慣于先表達人事物，再表達處理方式或多者之間的關(guān)系。

在她的課堂上也是如此，即使有實時翻譯語音的字幕，袁甜甜還是會用手語配合口語，方便同學們理解。

//會打手語的數(shù)字人

張帆在《無聲的綻放》中寫道，對于聽障問題，重要的是消除社會歧視，而非消除“不正?！?；重要的是公正，而非藥物與慈善。

為幫助聽障人群解決“從手語到口語”的交流問題，2022年，百度推出了AI手語平臺，研發(fā)了針對線上場景的AI手語數(shù)字人和針對線下場景的雙向手語翻譯機，實現(xiàn)了“手語-漢語”的智能互譯。

在手語動作的專業(yè)性方面，百度智能云曦靈數(shù)字人產(chǎn)品團隊聯(lián)合手語語言學專家、特殊教育專家以及天津理工大學聾人工學院等，制定了面向人工智能應用的自然手語標注規(guī)范，建設(shè)了大規(guī)模自然手語翻譯語料庫，使模型能夠生成符合聽障人群習慣的自然手語。

通過百度數(shù)字人4D掃描技術(shù)訓練的AI手語數(shù)字人，不僅能呈現(xiàn)出真實生動的面部表情，還能借助動作融合算法，如真人般流暢表達11000多個《國家通用手語詞典》所涵蓋的手語動作，為聽障群體打造更具情感表現(xiàn)力的溝通體驗。

目前，百度的AI手語數(shù)字人已經(jīng)能夠識別語音、打出手語，在實時直播中用數(shù)字人形象進行手語同步翻譯，在央視NBA直播、冬奧會開幕式上，都出現(xiàn)過百度的AI手語數(shù)字人主播。

//從輸出到理解，讓AI“聽懂手語”

隨著AI技術(shù)爆發(fā)與數(shù)字人的廣泛應用，大模型的對話也變得更加生動。

AI手語數(shù)字人在“打出手語”的基礎(chǔ)上，也開始嘗試“理解”聽障人士的手語表達。與只能單向輸出信息的模式相比，理解了手語的數(shù)字人能夠更好地完成雙向溝通的閉環(huán)。

從2024年開始，百度正式投入雙向手語翻譯機的研發(fā)及生產(chǎn)，這是多模態(tài)AI模型的典型應用，也是百度各項AI技術(shù)的集成。

當聽障人士打出手語之后，翻譯機需要先通過視覺識別及自然語言處理技術(shù)，將手語翻譯為漢語；健全人理解后，將要回復的內(nèi)容通過語音識別驅(qū)動數(shù)字人翻譯，最終以手語和文字的形式，再呈現(xiàn)給聽障人士。其中，無論是視覺識別還是自然語言處理，都是AI模型的核心能力。

不過，只有模型能力遠遠不夠。

實際使用場景中，面臨著更多的技術(shù)考驗，比如：

◎聽障人士快速打出的手語時，會導致手部輪廓細節(jié)模糊，增加模型理解成本；

◎混雜的畫面背景會分散模型對手部區(qū)域的注意力，造成識別錯誤；

◎數(shù)據(jù)采集時出現(xiàn)的手語孤立詞會增加模型識別錯誤概率；

◎手語-漢語在語義等層面是多對多的關(guān)系，和具體使用場景有很強的相關(guān)性，任何不考慮語言學規(guī)律的“蠻力”翻譯都可能會造成天差地別的錯誤，影響聾健溝通的質(zhì)量。

解決這些技術(shù)問題之后，模型還需要更多的訓練數(shù)據(jù)，而數(shù)據(jù)的標注要求工作者具備手語能力。因此，手語翻譯模型訓練及測試數(shù)據(jù)的生產(chǎn)、處理、分析基本都需要由手語使用者來完成。

近幾年，百度、天津理工大學、鯨言科技在全社會范圍內(nèi)收集了近千萬自然手語（含視頻、文本、標注等）作為多模態(tài)模型訓練數(shù)據(jù)，終于在2024年完成了“雙向手語翻譯機”的研發(fā)。

//聽見手語的聲音

明靜也接觸了手語數(shù)據(jù)的采集工作。對產(chǎn)品進行交互性測試之后，她非常開心，“終于有人開始做這件事了”。

她是一個很樂觀的女孩，微信個性簽名是，“我還會選擇這滾燙的人生啊”。她希望自己的人生充滿可能性，而不是恐懼。她說，愿意拾起破碎的自己，愿意釋懷，愿意活在當下，愿意相信未來會更好。

2025年1月，中國殘聯(lián)等9部門聯(lián)合印發(fā)了《關(guān)于推進科技助殘的指導意見》，其中明確提到了“推動智能手語翻譯”的助殘措施。

越來越多的聽障人士，會在充滿聲音的世界中找到自己的位置；也會有越來越多的普通人，聽到手語翻飛的聲音。