演講嘉賓 | 鄭森文

回顧整理 | 廖 濤

排版校對(duì) | 李萍萍

嘉賓簡(jiǎn)介

鄭森文，中國(guó)科學(xué)院軟件研究所高級(jí)工程師，智能軟件研究中心開源基礎(chǔ)設(shè)施組負(fù)責(zé)人；OpenHarmony項(xiàng)目群工作委員會(huì)委員；華為HDE（HUAWEI Developer Experts）；開放原子教育認(rèn)證講師；編著有書籍《鴻蒙操作系統(tǒng)應(yīng)用開發(fā)實(shí)踐》以及《鴻蒙第三方組件庫(kù)應(yīng)用開發(fā)實(shí)戰(zhàn)》。主要研究方向?yàn)?a href="http://www.www27dydycom.cn/v/tag/150/" target="_blank">人工智能和操作系統(tǒng)，發(fā)表二十余項(xiàng)相關(guān)領(lǐng)域論文、軟著、專利，并參與了多項(xiàng)國(guó)家課題項(xiàng)目，當(dāng)前主要專注于開源軟件基礎(chǔ)設(shè)施和開源軟件供應(yīng)鏈的相關(guān)研究和實(shí)踐。

內(nèi)容來源

第一屆開放原子開源基金會(huì)OpenHarmony技術(shù)峰會(huì)——生態(tài)與互聯(lián)分論壇

視頻回顧

打開 嗶哩嗶哩APP 搜索 OpenHarmony-TSC 視頻更清晰

正 文 內(nèi) 容

Apple Vision Pro在蘋果WWDC2023開發(fā)者大會(huì)上正式發(fā)布，再次引起了虛擬現(xiàn)實(shí)與人機(jī)交互技術(shù)相關(guān)的熱烈討論?；ヂ?lián)是OpenHarmony重要特性之一， 在人工智能飛速發(fā)展的同時(shí)，OpenHarmony的交互技術(shù)有哪些發(fā)展方向和目標(biāo)呢？中國(guó)科學(xué)院軟件研究所開源基礎(chǔ)設(shè)施組負(fù)責(zé)人、高級(jí)工程師鄭森文在第一屆OpenHarmony技術(shù)峰會(huì)上進(jìn)行了精彩分享。

01?

交互方式演進(jìn)

1828年，來自美國(guó)密歇根州的威廉·伯特制造了一部名為“排字機(jī)”的機(jī)器，并在不久之后就取得美國(guó)專利，第一臺(tái)打字機(jī)問世；1846年，最早的電腦輸入設(shè)備-穿孔紙帶（指令帶）正式出現(xiàn)，將程序和數(shù)據(jù)轉(zhuǎn)換二進(jìn)制數(shù)碼：帶孔為1，無孔為0，經(jīng)過光電掃描輸入電腦；1915年，電傳打字機(jī)問世，實(shí)現(xiàn)了鍵盤直接輸出電信號(hào)，進(jìn)而控制計(jì)算機(jī)相關(guān)操作；1964年，第一臺(tái)鼠標(biāo)問世，圖形化界面的主要交互設(shè)備就以此誕生；觸摸屏以及語(yǔ)音識(shí)別系統(tǒng)等也相繼于1971年和1987年誕生，為人與計(jì)算機(jī)交互的發(fā)展奠定了重要基礎(chǔ)。

隨著計(jì)算機(jī)技術(shù)的發(fā)展，人與計(jì)算機(jī)交互的圖形界面也在同步演進(jìn)，經(jīng)歷了穿孔紙帶批處理交互（也稱無交互）、CLI（Command Line Interface）交互、GUI（Graphical User Interface）交互以及NUI（Natural User Interface）交互等階段。其中，最初的穿孔紙帶批處理交互方式容易出現(xiàn)問題，有較大的錯(cuò)誤成本，且效率低下；CLI交互，用戶在計(jì)算機(jī)上以文本形式輸入命令，但要求交互的使用者具有一定的專業(yè)能力，有一定的使用門檻；GUI交互，用戶通過指示系統(tǒng)（例如鼠標(biāo)）操縱界面，但隨著時(shí)代的發(fā)展和人們對(duì)交互方式的新需求不斷增多，GUI交互已經(jīng)略顯疲態(tài)；NUI交互，用戶重用現(xiàn)有自然交互技能直接與內(nèi)容進(jìn)行交互，例如智能手機(jī)、觸屏、觸摸、拖拽或者手勢(shì)等等，其交互方式是人本身就具備的技能，讓機(jī)器或者讓產(chǎn)品能夠去理解人已經(jīng)具備的技能，從而以人為中心來進(jìn)行交互。

未來整個(gè)交互又有沒有可能產(chǎn)生一些新的變化以及出現(xiàn)一些新的交互模式呢？答案是肯定的。

計(jì)算機(jī)和交互方式的發(fā)展歷史從“以機(jī)器為中心”到“以人為中心”。以機(jī)器為中心即人與機(jī)器產(chǎn)生的所有的交互行為均通過指令下達(dá)的方式，機(jī)器依據(jù)指令理解人的意圖；以人為中心即機(jī)器需要主動(dòng)的去感知和理解人到底想要去做什么樣的交互，并主動(dòng)發(fā)生交互行為。因此，人是產(chǎn)品概念設(shè)計(jì)的核心和關(guān)鍵，實(shí)現(xiàn)產(chǎn)品設(shè)計(jì)交互最重要的是對(duì)用戶設(shè)計(jì)行為、意圖和認(rèn)知習(xí)慣的提取和分析。

02?

從交互到互聯(lián)和智能

2.1??

新交互方式

跨設(shè)備分布式交互

在常見的交互方式中，每個(gè)設(shè)備都成為一座孤島，相互獨(dú)立運(yùn)作。通過跨設(shè)備的分布式交互可以構(gòu)建起不同設(shè)備的溝通協(xié)作，避免不同的設(shè)備重復(fù)干同樣的事情。在跨設(shè)備交互時(shí)，設(shè)備間狀態(tài)與數(shù)據(jù)的連續(xù)性和一致性至關(guān)重要。跨設(shè)備分布式交互，通常通過高效協(xié)同的異構(gòu)組網(wǎng)與分布式架構(gòu)設(shè)計(jì)，提供高效融合的通信鏈路與數(shù)據(jù)處理，實(shí)現(xiàn)跨設(shè)備軟硬件資源共享與分布式交互，以支持分布式多端協(xié)同與跨端遷移等交互模式，從而實(shí)現(xiàn)多智能終端相互融合協(xié)同，打造體系性的智能人機(jī)協(xié)同系統(tǒng)。其中多端協(xié)同以分布式數(shù)據(jù)鏈路與管理服務(wù)為支撐，建立跨設(shè)備的連接通路，在連接通道上傳遞狀態(tài)和數(shù)據(jù)，以進(jìn)行業(yè)務(wù)協(xié)同并實(shí)時(shí)感知連接狀態(tài)變化。

跨端遷移基于分布式任務(wù)管理將數(shù)據(jù)傳遞到目標(biāo)端，拆包數(shù)據(jù)并恢復(fù)系統(tǒng)狀態(tài)，從而實(shí)現(xiàn)數(shù)據(jù)與業(yè)務(wù)流轉(zhuǎn)。同時(shí)系統(tǒng)會(huì)通過分布式窗口管理能力保證體驗(yàn)的一致性，實(shí)現(xiàn)跨端無縫顯示效果，并通過硬件資源池化與自動(dòng)跟隨方式，實(shí)現(xiàn)硬件平臺(tái)的分布式狀態(tài)同步。系統(tǒng)通過將超級(jí)終端上所有設(shè)備硬件進(jìn)行虛擬化，以使得任何一個(gè)設(shè)備都能夠使用所有超級(jí)終端設(shè)備內(nèi)的硬件，并非與某個(gè)特性硬件相綁定的虛擬句柄，由系統(tǒng)中的遷移決策模塊實(shí)現(xiàn)硬件資源的分布式共享與遷移，從而保障了分布式人機(jī)協(xié)同體驗(yàn)的流暢性與一致性。

沉浸式無感交互

從人機(jī)的進(jìn)化角度來看，未來的體驗(yàn)將會(huì)是“沒有交互”或者是“無感體驗(yàn)”，交互設(shè)計(jì)也不斷進(jìn)化到新的應(yīng)用領(lǐng)域，未來無感交互體驗(yàn)將會(huì)給交互設(shè)計(jì)帶來新契機(jī)，實(shí)現(xiàn)交互體驗(yàn)的無感化升級(jí)。

無感交互強(qiáng)調(diào)交互過程以人為中心并立足于用戶自身的視野與體驗(yàn)，建立產(chǎn)品設(shè)計(jì)情境模型，捕捉用戶設(shè)計(jì)過程中的環(huán)境信息，實(shí)時(shí)更新自動(dòng)切換，最大程度提升系統(tǒng)對(duì)設(shè)計(jì)意圖的主動(dòng)感知能力，弱化用戶對(duì)系統(tǒng)的感知需求，實(shí)現(xiàn)一種智能無感交互過程。未來的人機(jī)交互將趨同于 “感知”, 計(jì)算機(jī)的主要交互行為將變成感知行為、感知自然現(xiàn)象、感知人的現(xiàn)象、感知人類行為，從而實(shí)現(xiàn)為人類服務(wù)。

多模態(tài)情境感知交互

隨著計(jì)算機(jī)信息技術(shù)的不斷發(fā)展，雙向交互方式從早期的鼠標(biāo)、鍵盤等單模態(tài)信息輸入，逐步向語(yǔ)音、圖像、行為等多模態(tài)智能交互方式發(fā)展。情境感知交互是利用設(shè)備各種傳感器來識(shí)別和推測(cè)用戶意圖，從而做出最合理的交互決策和推薦。多模態(tài)交互結(jié)合單一模態(tài)的優(yōu)點(diǎn),充分發(fā)揮了人們對(duì)各個(gè)感知通道傳達(dá)信息的高度接收與處理能力,增強(qiáng)用戶對(duì)交互行為的理解,提高對(duì)大數(shù)據(jù)可視化的探索與分析效率。當(dāng)前這種多模態(tài)交互中，主要包含很多基于AI的智能交互方式。

2.2??

智能交互產(chǎn)業(yè)進(jìn)展

智能座艙

智能座艙是一個(gè)交互非常有趣的環(huán)境。1910年，汽車座艙里的交互方式以按鈕-觸覺的形式，通過全按鈕的方式進(jìn)行汽車操控；1963年，座艙里出現(xiàn)了屏幕顯示，人能夠通過屏幕-視覺的形式進(jìn)行汽車操控；2002年，語(yǔ)言命令的引入使人能夠通過語(yǔ)言-聽覺的形式進(jìn)行汽車操控；至今，以綜合感知、場(chǎng)景智能為主的智能座艙正在逐步改變?nèi)藗儾倏仄嚨慕换バ问?。智能座艙的出現(xiàn)，不單單提高了人們操控汽車的體驗(yàn)和效率，也能夠在一定程度上提升駕駛安全。

下一代的智能座艙，將繼續(xù)往個(gè)性化、高情商的主動(dòng)交互設(shè)備發(fā)展，提供更簡(jiǎn)單、更便攜、更多模態(tài)感知、決策更主動(dòng)、交互更人性化的汽車操控體驗(yàn)。

智能手機(jī)

與汽車座艙的人機(jī)交互發(fā)展趨勢(shì)類似，手機(jī)經(jīng)歷了自1973年起的全按鍵交互類型，到觸屏、手勢(shì)、語(yǔ)言命令和綜合感知的智能化交互。在智能手機(jī)不斷滿足人們交互需求的同時(shí)，科技的發(fā)展也影響人類本身的生活、交付等習(xí)慣。

03?

智能交互下的技術(shù)核心

AI——智能化體驗(yàn)的關(guān)鍵技術(shù)支持

AI（人工智能技術(shù)）包括機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、自然語(yǔ)言處理、計(jì)算機(jī)視覺等多種技術(shù)，通過AI可以讓計(jì)算機(jī)像人一樣進(jìn)行思考、學(xué)習(xí)、推理和決策。目前，AI已經(jīng)廣泛應(yīng)用于各個(gè)領(lǐng)域，如智能家居、智能醫(yī)療、智能交通、智能制造等，為人們的生活和工作帶來了很多便利和效率提升。

同時(shí)，AI也是智能化體驗(yàn)的關(guān)鍵技術(shù)支持。例如，如何分析獲取到的感知數(shù)據(jù)或由其加工獲得的更高層次的信息，對(duì)于完成預(yù)定的行為或動(dòng)作有直接的、重要的意義，這就需要通過AI對(duì)這些數(shù)據(jù)和信息進(jìn)行決策處理，以對(duì)感興趣的實(shí)體環(huán)境有一個(gè)中肯的了解或理解，并對(duì)感興趣的實(shí)體或事件最終做出“是什么”的結(jié)論。

分布式——操作系統(tǒng)的基礎(chǔ)核心能力底座

分布式是指將一個(gè)系統(tǒng)或應(yīng)用程序分散到多個(gè)計(jì)算機(jī)或服務(wù)器上，使得每個(gè)計(jì)算機(jī)或服務(wù)器都可以獨(dú)立地運(yùn)行一部分系統(tǒng)或應(yīng)用程序，并且這些計(jì)算機(jī)或服務(wù)器之間可以相互通信和協(xié)作，共同完成整個(gè)系統(tǒng)或應(yīng)用程序的功能。分布式系統(tǒng)可以提高系統(tǒng)的可靠性、可擴(kuò)展性和性能，并且可以更好地應(yīng)對(duì)大規(guī)模數(shù)據(jù)處理和高并發(fā)訪問的需求。

基于多模態(tài)感知的智能交互場(chǎng)景需要從多種傳感器及時(shí)獲取信息進(jìn)行處理，這些傳感器分布于不同的物理空間且沒有線纜連接?；诙嗄B(tài)感知的智能交互場(chǎng)景需要實(shí)現(xiàn)復(fù)雜的模糊計(jì)算甚至大量AI的參與，因此會(huì)帶來龐大的計(jì)算量。而終端設(shè)備和物聯(lián)網(wǎng)設(shè)備的計(jì)算能力顯著不足。如何通過分布式技術(shù)在設(shè)備上實(shí)現(xiàn)高性能任務(wù)處理是實(shí)現(xiàn)智能交互能力的重要問題。

04?

OpenHarmony與交互的未來

基于OpenHarmony的system-subsystem-part-module體系結(jié)構(gòu)：分布式軟總線是OpenHarmony的一個(gè)部件（part），屬于OpenHarmony分布式子系統(tǒng)（subsystem）。分布式軟總線是OpenHarmony多種分布式場(chǎng)景實(shí)現(xiàn)的底層基礎(chǔ)。通過分布式軟總線，OpenHarmony能夠?qū)崿F(xiàn)分布式的設(shè)備管理、分布式數(shù)據(jù)管理、分布式任務(wù)調(diào)度等能力，通過不同的組合搭配，能夠向上層提供特定的能力支持，使開發(fā)者不需要考慮多個(gè)設(shè)備之間如何互聯(lián)，就可以在單個(gè)設(shè)備的開發(fā)模式下開發(fā)分布式場(chǎng)景下的復(fù)雜交互應(yīng)用。

未來人機(jī)交互界面的發(fā)展，應(yīng)該是基于現(xiàn)實(shí)的交互 (reality-based interaction，RBI)。RBI是對(duì)未來人機(jī)交互方式的概括, 如自然用戶界面、虛擬現(xiàn)實(shí)技術(shù)、增強(qiáng)現(xiàn)實(shí)技術(shù)、上下文感知計(jì)算、手持或移動(dòng)交互、感知和情感計(jì)算、語(yǔ)音交互及多模態(tài)界面。RBI強(qiáng)調(diào)利用用戶的已有知識(shí)和技能, 不需要額外學(xué)習(xí)太多新的知識(shí)，從不同層面來對(duì)新的交互模式進(jìn)行描述, 包括人們對(duì)基本常識(shí)的理解、對(duì)自身肢體動(dòng)作的理解、對(duì)環(huán)境的理解, 以及對(duì)其他人的理解，并基于這4個(gè)層面建立了基于現(xiàn)實(shí)的感知框架。

05?

總結(jié)

未來，鄭森文研究員所在團(tuán)隊(duì)將繼續(xù)在一站式可定制智能交互支撐框架，快速通信建立，無感式主動(dòng)服務(wù)，基于語(yǔ)音、圖像、行為等AI多模態(tài)人機(jī)交互模式等方向探索OpenHarmony互聯(lián)與交互相關(guān)技術(shù)，也歡迎感興趣的開發(fā)者參與進(jìn)來，共同為OpenHarmony技術(shù)生態(tài)貢獻(xiàn)智慧。

E N D

點(diǎn)擊下方閱讀原文獲取演講PPT。

關(guān)注我們，獲取更多精彩。