一、 多模輸入概述

多模輸入服務(wù)旨在支撐開發(fā)者面向用戶提供豐富多樣的人機交互方式，在持續(xù)完善支持傳統(tǒng)輸入的基礎(chǔ)上，多模輸入還會發(fā)揮 OpenAtom OpenHarmony（以下簡稱“OpenHarmony”）的分布式優(yōu)勢，提升跨設(shè)備交互體驗，面向新場景、新業(yè)務(wù)提供系統(tǒng)級支撐能力。 多模輸入 Input 部件是 OpenHarmony 系統(tǒng)級輸入事件管理框架；南向?qū)佣喾N輸入設(shè)備，匯聚多種輸入事件(按鍵、觸摸)，通過歸一/標準化處理后，分發(fā)給消費者(系統(tǒng)服務(wù)、應(yīng)用)。 南向輸入設(shè)備對接包括多種類型的輸入設(shè)備，如：觸屏、鼠標、鍵盤、觸摸板、遙控器。

二、輸入事件和設(shè)備狀態(tài)數(shù)據(jù)流介紹

首先，我們看下多模輸入體系架構(gòu)下的關(guān)鍵數(shù)據(jù)流程，方便深入了解用戶從發(fā)起一次交互請求，到系統(tǒng)、應(yīng)用給予一次交互響應(yīng)的全流程。

如下圖所示，包括兩類關(guān)鍵數(shù)據(jù)流：

●輸入設(shè)備狀態(tài)數(shù)據(jù)流：

輸入設(shè)備狀態(tài)數(shù)據(jù)描述輸入設(shè)備的狀態(tài)變化及其設(shè)備屬性信息，包括：設(shè)備插入、移除狀態(tài)、設(shè)備唯一標識、設(shè)備名稱、設(shè)備支持的輸入方式等。

輸入設(shè)備狀態(tài)數(shù)據(jù)，經(jīng)過內(nèi)核設(shè)備驅(qū)動上報給多模輸入服務(wù)端的輸入設(shè)備狀態(tài)管理模塊。在輸入設(shè)備管理模塊對全局輸入設(shè)備狀態(tài)進行管理和維護，同時設(shè)備狀態(tài)會封裝為可監(jiān)聽接口提供給上層業(yè)務(wù)模塊用來監(jiān)聽系統(tǒng)輸入外設(shè)的狀態(tài)。 ●交互輸入事件數(shù)據(jù)流： 交互輸入事件數(shù)據(jù)用來描述鍵盤、鼠標、觸摸屏輸入事件；鍵盤事件包括：按鍵碼、按鍵時間戳、按鍵所屬設(shè)備等信息；鼠標事件包括：鼠標 X/Y 坐標、鼠標按鈕(如：鼠標左|中|右)事件等；觸摸事件包括：時間戳、觸摸位置 X/Y 坐標等。 輸入事件數(shù)據(jù)由設(shè)備驅(qū)動上報給輸入事件接收模塊完成輸入事件從內(nèi)核空間到用戶空間的轉(zhuǎn)發(fā)，然后再給輸入事件預(yù)處理模塊完成輸入事件標準化處理(按鍵 KeyCode 映射標準化等)，最后由輸入事件分發(fā)模塊以系統(tǒng)預(yù)設(shè)分發(fā)機制和原則完成事件的分發(fā)。 參考以下數(shù)據(jù)流圖，我們可以很清晰地了解到在用戶通過輸入設(shè)備發(fā)起一次交互請求后，輸入事件上報和分發(fā)全流程。

圖1 輸入事件和設(shè)備狀態(tài)數(shù)據(jù)流圖 注：數(shù)據(jù)流圖箭頭示意說明 輸入事件分發(fā)模塊對于事件預(yù)處理說明： 1)輸入事件分發(fā)過程會優(yōu)先經(jīng)過輸入事件攔截模塊，當有攔截器注冊時，輸入事件會終止繼續(xù)上報，相應(yīng)的攔截器會攔截所有輸入事件。該事件攔截特性當前主要支持無障礙模式。 2)當沒有攔截器注冊時，輸入事件會上報給輸入事件監(jiān)聽模塊，系統(tǒng)級應(yīng)用(如：系統(tǒng)設(shè)置、桌面)通過監(jiān)聽輸入事件，支持系統(tǒng)級特性(如：狀態(tài)欄隱藏/消失等)。 3)事件監(jiān)聽模塊對事件的監(jiān)聽不會阻斷事件繼續(xù)上報；支持事件監(jiān)聽的同時，輸入事件還會繼續(xù)上報。 4)對于按鍵事件會上報給訂閱按鍵分發(fā)模塊處理，分發(fā)給對應(yīng)的應(yīng)用處理，事件分發(fā)流程結(jié)束； 5)其他觸摸屏事件和鼠標事件不會經(jīng)過訂閱按鍵分發(fā)模塊，會繼續(xù)上報給應(yīng)用窗口處理。

三、多模輸入事件分發(fā)原則

1. 鼠標/觸摸屏事件分發(fā)原則

鼠標/觸摸屏坐標指向哪個目標，輸入事件就分發(fā)給對應(yīng)的目標。 鼠標/觸摸屏事件分發(fā)特殊場景說明： 1)如沒有鼠標上的按鈕按下，當前鼠標指向哪個目標，鼠標輸入事件就分發(fā)給坐標鎖定的目標。 2)如果有鼠標上的按鈕按下，以第一個按鈕按下時刻鼠標坐標鎖定的目標作為分發(fā)標的，直到所有的按鈕都抬起。 3)觸摸屏輸入時，將第一個手指按下鎖定的目標作為輸入事件分發(fā)標的，直到所有的手指都抬起。

2. 按鍵事件分發(fā)原則

按鍵事件分發(fā)以當前用戶可視界面中的焦點作為分發(fā)標的，當前界面焦點在哪個目標上，按鍵事件就分發(fā)給對應(yīng)的標的。

四、OpenHarmony 3.1版本新增接口說明

為了更好的支持上層應(yīng)用和系統(tǒng)服務(wù)實時檢測和處理輸入設(shè)備熱插拔狀態(tài)變更事件，在 OpenHarmony 3.1 版本新增開放了 JS API 接口，可支持通過 JS API 監(jiān)聽設(shè)備的熱插拔事件。同時提供通過注冊回調(diào)接口的方式獲取熱插拔輸入設(shè)備唯一標識。輸入設(shè)備熱插拔監(jiān)聽接口與 inputDevice.getDevice 接口配合即可獲取熱插拔設(shè)備的詳細信息，包括：輸入設(shè)備名稱、設(shè)備支持的輸入類型(鍵盤|觸摸屏|鼠標|游戲手柄)等。

1. 多模輸入子系統(tǒng)新增接口說明

輸入外設(shè)熱插拔監(jiān)聽接口： function on(type: "change", listener: Callback): void; 輸入外設(shè)取消監(jiān)聽接口： function off(type: “change”, listener?: CallbackDeviceListener): void;

2. 新增接口接口參數(shù)說明

【DeviceListener】

【ChangeType】

3. 輸入設(shè)備熱插拔接口應(yīng)用場景

軟鍵盤自適應(yīng)顯示：在文本編輯場景下，輸入法通過監(jiān)聽物理鍵盤輸入設(shè)備的熱插拔操作，可自適應(yīng)決策軟鍵盤是否顯示。當有物理鍵盤設(shè)備時，軟鍵盤無需顯示，用戶輸入操作通過物理鍵盤完成輸入。當無物理鍵盤時，輸入法彈出軟鍵盤，用戶通過軟鍵盤完成輸入操作。

4. 輸入設(shè)備熱插拔接口使用范例

對于鼠標熱插拔監(jiān)聽接口有了初步的認識后，讓我們來詳細了解下，在實際開發(fā)中如何使用輸入設(shè)備熱插拔接口： 1)首先導(dǎo)入模塊 import inputDevice from '@ohos.multimodalInput.inputDevice'; 2)通過監(jiān)聽接口實現(xiàn)輸入設(shè)備熱插拔事件監(jiān)聽：

// 輸入法在軟鍵盤顯示邏輯中通過訂閱物理鍵盤的狀態(tài)：插入/拔出// 根據(jù)isPhysicalkeyboardExist的值決定軟鍵盤是否彈出...let isPhysicalkeyboardExist = false;inputDevice.on("change", (callback) => { console.log("type: " + callback.type + ", deviceId: " + callback.deviceId); inputDevice.getDevice(callback.deviceId, (ret) => { console.log("The keyboard type of the device is: " + ret); if (ret == keyboard.ALPHABETIC_KEYBOARD && callback.type == 'add') { // 熱插拔設(shè)備為鍵盤 isPhysicalkeyboardExist = true; } else if (ret == keyboard.ALPHABETIC_KEYBOARD && callback.type == 'remove') { isPhysicalkeyboardExist = false; } });});...3)通過取消監(jiān)聽接口實現(xiàn)輸入設(shè)備熱插拔事件取消監(jiān)聽：
listener: function(data) { console.log("type: " + data.type + ", deviceId: " + data.deviceId);}// 單獨取消listener的監(jiān)聽。inputDevice.off("change", this.listener);// 取消所有監(jiān)聽inputDevice.off("change");//取消監(jiān)聽后，軟鍵盤默認都彈出

注：取消熱插拔事件監(jiān)聽接口中，入?yún)istener可選；當入?yún)istener代表取消特定監(jiān)聽回調(diào)。當入?yún)⒉粠istener，代表取消所有監(jiān)聽回調(diào)。

通過上述介紹，相信大家對 OpenHarmony 多模輸入子系統(tǒng)的輸入事件處理和分發(fā)機制有了一個全面的了解。同時我們也對 OpenHarmony 3.1 版本新增的輸入設(shè)備熱插拔監(jiān)聽接口做了詳細的介紹，更多有關(guān)多模輸入子系統(tǒng)為開發(fā)者提供的 API 接口歡迎訪問 Gitee 詳細了解：

https://gitee.com/openharmony/docs/blob/master/zh-cn/application-dev/reference/apis/js-apis-inputdevice.md

相信大家在后續(xù)開發(fā)中有了上面這些基礎(chǔ)知識作為鋪墊，在后續(xù)開發(fā)中便可以更加游刃有余，開發(fā)出交互體驗更好的應(yīng)用來。期待與廣大開發(fā)者一起共同構(gòu)建極致用戶體驗。最后，期待諸位攜手一起共建，可在 OpenHarmony 社區(qū)(https://gitee.com/openharmony)一起交流探討。

審核編輯 ：李倩