引言

推理是人類智能活動的重要組成部分，一直以來是人工智能研究的核心內(nèi)容。人工智能進入了以深度學(xué)習(xí)技術(shù)為主導(dǎo)的新時代, 無論是計算機視覺、語音識別、語言理解、機器翻譯、對話系統(tǒng)等，似乎無處不是數(shù)據(jù)驅(qū)動下深度學(xué)習(xí)的“功勞”。從推理的視角來看，從已知的事實（有標注的數(shù)據(jù)），得出未知的結(jié)論，就是推理。但對智能系統(tǒng)做出的推理結(jié)果，需要有一個行為的解釋機制。

深度學(xué)習(xí)是一個黑箱，最大的弊端是缺乏對其結(jié)果的解釋能力?；叵朐谥R工程時代，基于規(guī)則的專家系統(tǒng)技術(shù)，其結(jié)果卻具有很好的解釋性。受此啟發(fā)，我們提出這樣一個問題：在解決“可解釋”的推理上，傳統(tǒng)的知識工程技術(shù)是否可以繼續(xù)發(fā)揮作用？可解釋的人工智能未來的發(fā)展方向是什么?

基于知識工程的可解釋推理

讓我們回顧一下人工智能推理的早期階段——知識工程時代。知識工程包括知識的獲取、表達和推理，其本質(zhì)是將數(shù)據(jù)轉(zhuǎn)換為易于機器處理的結(jié)構(gòu)化知識。一個典型的專家系統(tǒng)由知識庫與推理機組成，前者需要專家人工構(gòu)建（見圖1）。知識工程的代表——專家系統(tǒng)，可以順著推理機使用到的規(guī)則, 表現(xiàn)出很好的解釋能力。從20 世紀90 年代后期開始，知識工程因以下一些困擾而進入了低潮。

圖1：傳統(tǒng)知識工程的組成

1. 知識獲取困難。知識庫構(gòu)建過程中依賴專家人工構(gòu)建的方式。如Cyc[1] 在2000 年，積累了160 萬條常識性知識，在耗費了350 人/ 年的成本后最終失敗。

2. 構(gòu)建專家系統(tǒng)需要完備的領(lǐng)域知識（包括常識），對于大部分問題本身具有的不確定性，要從專家的經(jīng)驗中構(gòu)建推理引擎非常困難，這限制了專家系統(tǒng)的應(yīng)用。

盡管知識工程這個名詞已不再流行，但知識工程將數(shù)據(jù)轉(zhuǎn)換為易于機器處理的結(jié)構(gòu)化知識的本質(zhì)，其自頂向下的演繹推理方式可能是解開目前可解釋性缺失困擾的途徑之一。目前已經(jīng)出現(xiàn)的一系列研究正在彌補傳統(tǒng)知識工程的缺陷，并努力將知識引導(dǎo)與數(shù)據(jù)驅(qū)動這兩種知識獲取與推理方式進行融合，其中一個典型的代表就是CMU 的永不停息語言學(xué)習(xí)者NELL[2]。NELL 通過機器學(xué)習(xí)、NLP 等數(shù)據(jù)驅(qū)動手段并結(jié)合人工介入，來從互聯(lián)網(wǎng)網(wǎng)頁中析取斷言式知識(beliefs)，形成海量的通用知識圖譜，這從一定程度上解決了解釋性中知識來源的問題，改善了傳統(tǒng)知識工程知識獲取困難的問題。在基于知識的推理方面，IBM 的Watson 系統(tǒng)[3] 在Jeopardy 挑戰(zhàn)中戰(zhàn)勝了兩位人類冠軍，其核心算法Deep QA 通過生成問題答案的候選（假設(shè)），在非結(jié)構(gòu)化數(shù)據(jù)中收集證據(jù)，并用機器學(xué)習(xí)模型對證據(jù)進行評分，最后利用聚合算法實現(xiàn)對假設(shè)的排序。這種方式借鑒了專家系統(tǒng)中推理引擎的推理流程，實現(xiàn)了數(shù)據(jù)驅(qū)動算法與推理流程的有機融合。圖神經(jīng)網(wǎng)絡(luò)[4] 等研究也正嘗試將傳統(tǒng)的貝葉斯網(wǎng)絡(luò)和知識圖譜，與深度學(xué)習(xí)相融合，來探索深度學(xué)習(xí)的可解釋機制。

未來與展望

可解釋性的問題正在引起各界的關(guān)注。2017 年7 月美國國防部高級研究計劃署啟動了7 000 萬美元的可解釋性人工智能計劃（XAI）[5] 旨在對軍事領(lǐng)域智能算法的認知進行理解。歐盟在2018 年生效的通用數(shù)據(jù)保護法中引入解釋的權(quán)力[6]，旨在處理算法不可解釋帶來的問題。學(xué)術(shù)界也正從多個不同的角度入手開展研究，出現(xiàn)了反事實探測[7]、可視化[8]、轉(zhuǎn)移學(xué)習(xí)[9] 等一系列基于事后解析的方法。在實時分析方面，則出現(xiàn)了多跳注意力[10]、推導(dǎo)過程生成[11]，以及可解釋性網(wǎng)絡(luò)[12] 等一系列研究。其中知識計算延續(xù)了知識工程的目標，是一種融合實時與事后可解釋性分析的計算框架，是傳統(tǒng)知識工程與大數(shù)據(jù)、算法與群體智慧融合后的產(chǎn)物。知識的獲取已不單純依靠從專家的經(jīng)驗中總結(jié)出來, 而是綜合應(yīng)用多種“計算”手段而獲得的（見圖2）。

圖2：知識計算框架

知識計算人在回路的架構(gòu)，為可解釋的人工智能的實現(xiàn)提供了框架，是大數(shù)據(jù)下的新型知識工程。未來在探索可解釋的人工智能推理的研究中，我們?nèi)孕柙诖嘶A(chǔ)上建立知識、數(shù)據(jù)和反饋于一體的人工智能理論和模型，有機協(xié)調(diào)“知識指導(dǎo)下的演繹”、“數(shù)據(jù)驅(qū)動中的歸納”與“行為強化內(nèi)的規(guī)劃”。 知識工程從提出至今，作為早期的知識推理手段對后續(xù)的一系列研究產(chǎn)生了深遠的影響，從這個意義上講，知識工程并沒有過時，在未來將繼續(xù)在人工智能研究中扮演重要的角色。

參考文獻

[1] Lenat, D.B., M. Prakash, and M. Shepherd, CYC: Using common sense knowledge to overcome brittleness andknowledge acquisition bottlenecks. AI magazine, 1985. 6(4): 65.

[2] Carlson, A., et al. Toward an architecture for never-ending language learning. in AAAI. 2010. Atlanta.

[3] Ferrucci, D.A., Introduction to “this is watson”. IBM Journal of Research and Development, 2012. 56(3.4): 1: 1-1:15.

[4] Battaglia, P.W., et al. Relational inductive biases, deep learning, and graph networks. arXiv preprintarXiv:1806.01261, 2018.

[5] Gunning, D., Explainable artificial intelligence (xai). Defense Advanced Research Projects Agency (DARPA), ndWeb, 2017.

[6] Goodman, B. and S.R. Flaxman, European Union regulations on algorithmic decision-making and a. 2017.

[7] Ribeiro, M.T., S. Singh, and C. Guestrin. Why should i trust you?: Explaining the predictions of any classifier. inProceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining. 2016.ACM.

[8] Zeiler, M.D. and R. Fergus. Visualizing and understanding convolutional networks. in European conference oncomputer vision. 2014. Springer.

[9] Wang, H., et al. Emergent Predication Structure in Hidden State Vectors of Neural Readers. arXiv preprintarXiv:1611.07954, 2016.

[10] Shen, Y., et al. Reasonet: Learning to stop reading in machine comprehension. in Proceedings of the 23rd ACMSIGKDD International Conference on Knowledge Discovery and Data Mining. 2017. ACM.

[11] Ling, W., et al. Program induction by rationale generation: Learning to solve and explain algebraic word problems.arXiv preprint arXiv:1705.04146, 2017.

[12] Zhang, Q., Y.N. Wu, and S.-C. Zhu. Interpretable convolutional neural networks. in The IEEE Conference onComputer Vision and Pattern Recognition (CVPR). 2018.