基于 GPU 的功能， Facebook AI Research 的一個(gè)團(tuán)隊(duì)開(kāi)發(fā)了一種更快、更有效的 AI 運(yùn)行相似性搜索的方法。這個(gè) study ，發(fā)表于 IEEE 大數(shù)據(jù)交易 ，創(chuàng)建了一種深度學(xué)習(xí)算法，能夠處理和比較來(lái)自媒體的高維數(shù)據(jù)，速度明顯更快，同時(shí)與以前的技術(shù)一樣精確。

在一個(gè)數(shù)據(jù)供應(yīng)量不斷增長(zhǎng)的世界中，這項(xiàng)工作有望減輕處理大型庫(kù)所需的計(jì)算能力和時(shí)間。

“搜索和索引［高維數(shù)據(jù)］最直接的技術(shù)是蠻力比較，你需要對(duì)照數(shù)據(jù)庫(kù)中的其他圖像檢查［每個(gè)圖像］。這對(duì)于包含數(shù)十億載體的集合來(lái)說(shuō)是不切實(shí)際的，”研究科萊德和 Facebook 的研究工程師杰夫·約翰遜在一份新聞稿中說(shuō)。

包含數(shù)百萬(wàn)像素和數(shù)據(jù)點(diǎn)的每幅圖像和視頻都會(huì)產(chǎn)生數(shù)十億個(gè)矢量。這些大量的數(shù)據(jù)對(duì)于分析、檢測(cè)、索引和比較向量非常有價(jià)值。計(jì)算大型庫(kù)與依賴于多個(gè)超級(jí)計(jì)算機(jī)組件的傳統(tǒng) CPU 算法的相似性也存在問(wèn)題，從而降低了總體計(jì)算時(shí)間。

研究人員只使用了四個(gè) GPU 和 CUDA ，設(shè)計(jì)了一個(gè) 多 GPU 到宿主和***的算法分析庫(kù)圖像數(shù)據(jù)點(diǎn)。該方法還壓縮數(shù)據(jù)，使其更容易，從而更快地進(jìn)行分析。

新算法在 35 分鐘內(nèi)處理了 9500 多萬(wàn)張高維圖像。 10 億個(gè)向量的圖形計(jì)算起來(lái)不到 12 小時(shí)。根據(jù)該研究中的一項(xiàng)比較測(cè)試，使用 128 臺(tái) CPU 服務(wù)器集群處理同一數(shù)據(jù)庫(kù)需要 108 。 7 小時(shí)，約長(zhǎng) 8 。 5 倍。

約翰遜說(shuō)：“通過(guò)將計(jì)算完全放在 GPU 上，我們可以利用加速器上更快的內(nèi)存，而不是處理 CPU 服務(wù)器上較慢的內(nèi)存，甚至傳統(tǒng)超級(jí)計(jì)算機(jī)集群中較慢的機(jī)器對(duì)機(jī)器網(wǎng)絡(luò)互連?！?。

研究人員表示，這些方法已經(jīng)應(yīng)用于各種各樣的任務(wù)，包括翻譯的語(yǔ)言處理搜索。被稱為 Facebook AI 相似性搜索庫(kù)的方法是 開(kāi)源 用于實(shí)現(xiàn)、測(cè)試和比較。

關(guān)于作者

Michelle Horton 是 NVIDIA 的高級(jí)開(kāi)發(fā)人員通信經(jīng)理，擁有通信經(jīng)理和科學(xué)作家的背景。她在 NVIDIA 為開(kāi)發(fā)者博客撰文，重點(diǎn)介紹了開(kāi)發(fā)者使用 NVIDIA 技術(shù)的多種方式。

審核編輯：郭婷