世界上許多最嚴(yán)峻的科學(xué)挑戰(zhàn)，如開(kāi)發(fā)高溫超導(dǎo)體和理解時(shí)空的本質(zhì)，都涉及處理量子系統(tǒng)的復(fù)雜性。然而，這些系統(tǒng)中量子態(tài)的數(shù)量程指數(shù)級(jí)增長(zhǎng)，使得暴力計(jì)算并不可行。為了解決該問(wèn)題，數(shù)據(jù)結(jié)構(gòu)采用了張量網(wǎng)絡(luò)的方式。張量網(wǎng)絡(luò)讓人們關(guān)注與現(xiàn)實(shí)世界問(wèn)題最相關(guān)的量子態(tài)，如低能態(tài)。張量網(wǎng)絡(luò)已經(jīng)越來(lái)越多地在機(jī)器學(xué)習(xí)中得到應(yīng)用。

然而，目前仍存在相當(dāng)多的一些挑戰(zhàn)阻礙了其在機(jī)器學(xué)習(xí)社區(qū)中的廣泛使用：1）用于加速硬件的生產(chǎn)級(jí)張量網(wǎng)絡(luò)庫(kù)還不能用于大規(guī)模運(yùn)行張量網(wǎng)絡(luò)算法；2）大多數(shù)張量網(wǎng)絡(luò)文獻(xiàn)是面向物理應(yīng)用的，并產(chǎn)生了一種錯(cuò)誤的印象，即需要量子力學(xué)方面的專業(yè)知識(shí)來(lái)理解算法。

為了解決這一問(wèn)題，谷歌 X 實(shí)驗(yàn)室與加拿大Perimeter理論物理研究所（Perimeter Institute for Theoretical Physics ）的研究人員合作開(kāi)發(fā)了張量網(wǎng)絡(luò) TensorNetwork，以 TensorFlow 作為后端，針對(duì) GPU 處理進(jìn)行了優(yōu)化。與在 CPU 上計(jì)算工作相比，可以實(shí)現(xiàn)高達(dá) 100 倍的加速。這是一個(gè)全新的開(kāi)源庫(kù)，旨在提高張量計(jì)算的效率。

據(jù)悉，研究人員已經(jīng)發(fā)布了一些列論文對(duì)張量網(wǎng)絡(luò)的概念、特性以及應(yīng)用特例等方面進(jìn)行了詳細(xì)闡釋。

工作原理

張量是一種多維數(shù)組，按照順序進(jìn)行分類。例如，一個(gè)普通數(shù)零階張量，也稱為標(biāo)量，一個(gè)向量是一階張量，一個(gè)矩陣是二階張量。雖然低階張量可以很容易地用數(shù)字?jǐn)?shù)組或像 Tijnklm 這樣的數(shù)學(xué)符號(hào)來(lái)表示，但一旦開(kāi)始討論高階張量，這個(gè)符號(hào)就變得非常麻煩。

這一點(diǎn)上，使用圖解記數(shù)法是非常有用的，在這種記數(shù)法中，人們只需畫一個(gè)有許多條線或” 腿 “的圓（或其他形狀）。在這個(gè)符號(hào)中，標(biāo)量只是一個(gè)圓，向量只有一條腿，矩陣有兩條腿等。張量的每條腿也有大小，也就是腿的長(zhǎng)度。

張量的圖解符號(hào)

以這種方式表示張量的好處是簡(jiǎn)潔地編碼數(shù)學(xué)運(yùn)算，例如，將一個(gè)矩陣乘以一個(gè)向量得到另一個(gè)向量，或者兩個(gè)向量相乘得到標(biāo)量。這個(gè)過(guò)程被稱為張量收縮。

張量收縮的圖解表示法

向量和矩陣乘法以及矩陣跡線（即矩陣對(duì)角元素的總和）。

除了這些案例之外，還有以張量收縮模式進(jìn)行編碼以形成一個(gè)新張量的圖形方式。每個(gè)組成張量都有一個(gè)由自己的腿數(shù)決定的順序。連接的腿在圖中形成一條邊，代表收縮，而剩余懸空腿的數(shù)量決定了合成張量的順序。

左：四個(gè)矩陣乘積的表示，即 tr（ABCD），它是一個(gè)標(biāo)量。右：三個(gè)三階張量收縮，三條腿懸空，產(chǎn)生一個(gè)新的三階張量。

雖然這些例子非常簡(jiǎn)單，但張量網(wǎng)絡(luò)通常代表以各種方式收縮的數(shù)百個(gè)張量。用傳統(tǒng)的符號(hào)來(lái)描述這樣一件事情是非常模糊的，這也是 Roger Penrose 在 1971 年發(fā)明圖解符號(hào)（diagrammatic notation）的原因。

實(shí)踐過(guò)程

以一些黑白圖像為例，每個(gè)圖像可以被看做是 N 個(gè)像素值的列表。單個(gè)圖像中的單個(gè)像素可以被獨(dú)熱編碼（ one-hot-encoding）成二維向量，并且通過(guò)這些像素編碼組合在一起，我們可以得到 2N 個(gè)維獨(dú)熱編碼的結(jié)果。我們可以將高維向量轉(zhuǎn)化為 N 階張量，然后將圖像集合中所有張量相加，得到量 Ti1，i2，...，iN 的集合。

這聽(tīng)起來(lái)像是一件非常浪費(fèi)時(shí)間的事情。因?yàn)橐赃@種方式對(duì)約 50 像素的圖像進(jìn)行編碼已經(jīng)占用了數(shù)千兆字節(jié)的內(nèi)存。這正是張量網(wǎng)絡(luò)的作用所在。研究人員沒(méi)有直接存儲(chǔ)或操縱張量 T，而是將張量 T 作為張量網(wǎng)絡(luò)內(nèi)的多個(gè)小的張量組合。結(jié)果證明這非常有效。例如，流行的矩陣乘積態(tài)（matrix product state，MPS）網(wǎng)絡(luò)可以將 T 表示為 N 個(gè)較小的張量，從而總參數(shù)量為 N 的線性級(jí)，而不是指數(shù)級(jí)。

高階張量 T 用矩陣乘積態(tài)張量網(wǎng)絡(luò)中的許多低階張量來(lái)表示。

但在有效構(gòu)建或操縱大型張量網(wǎng)絡(luò)的同時(shí)又能始終避免使用大量?jī)?nèi)容的需求，是不太明顯的。但事實(shí)證明，這在許多情況下是可能的，這也是張量網(wǎng)絡(luò)廣泛用于量子物理和機(jī)器學(xué)習(xí)領(lǐng)域的原因。Stoudenmire 和 Schwab 使用這種編碼來(lái)構(gòu)建圖像分類模型，展示了張量網(wǎng)絡(luò)的新用途。而 TensorNetwork 庫(kù)旨在推進(jìn)這類工作，研究人員在 TensorNetwork 相關(guān)論文中介紹了該庫(kù)如何應(yīng)用于張量網(wǎng)絡(luò)的操作。

在物理場(chǎng)景中的應(yīng)用性能

TensorNetwork 是一個(gè)針對(duì)張量網(wǎng)絡(luò)算法的通用庫(kù)，因此它適用于物理學(xué)場(chǎng)景。逼近量子態(tài)是張量網(wǎng)絡(luò)在物理學(xué)中的一個(gè)典型用例，可說(shuō)明張量網(wǎng)絡(luò)庫(kù)的能力。在另一篇論文《TensorNetwork on TensorFlow: A Spin Chain Application Using Tree Tensor Networks》中，研究人員提出了一種近似樹(shù)張量網(wǎng)絡(luò)（tree tensor network，TTN），并使用張量網(wǎng)絡(luò)庫(kù)實(shí)現(xiàn)了該算法。此外，研究人員還對(duì)比了 CPU 和 GPU 的情況，發(fā)現(xiàn)在使用 GPU 和張量網(wǎng)絡(luò)庫(kù)時(shí)，計(jì)算速度顯著提高了近 100 倍。

計(jì)算時(shí)間作為連接維度的函數(shù) X。連接維度（ bond dimension ）決定了張量網(wǎng)絡(luò)中張量的大小。連接維度越大意味著張量網(wǎng)絡(luò)約強(qiáng)大，但這個(gè)過(guò)程也需要更多的計(jì)算資源。

總結(jié)及未來(lái)工作

本文是講述 TensorNetwork 實(shí)際應(yīng)用案例的第一篇文章，后續(xù)的論文中，研究人員將使用 TensorNetwork 在 MNIST 和 Fashion-MNIST 上執(zhí)行圖像分類，后面還將包括時(shí)序分析、量子電路仿真等。研究人員希望 TensorNetwork 能成為物理學(xué)家和機(jī)器學(xué)習(xí)從業(yè)者的寶貴工具。