1、圖像識別技術(shù)已經(jīng)相對成熟，進入廣泛落地階段

人工智能圖像識別技術(shù)進入廣闊應(yīng)用階段，以?？?、大華為首的人工智能視覺領(lǐng)軍企業(yè)已將技術(shù)應(yīng)用于安防、工業(yè)、文旅等領(lǐng)域。海康、大華等企業(yè)以愿景為切入點，落地AI應(yīng)用，賦能千行百業(yè)降本增效?；谌四樧R別、溫度識別、動態(tài)追蹤等技術(shù)，?？怠⒋笕A等人工智能龍頭企業(yè)為制造、旅游、金融等行業(yè)提出了智能化解決方案，有效降本增效。

1）在制造業(yè)，老板車間與?？低暫献?，實現(xiàn)AR數(shù)字車間，助力智能生產(chǎn)。?？低暲肁R視頻技術(shù)結(jié)合企業(yè)生產(chǎn)信息化，推出AR數(shù)字車間業(yè)務(wù)，為老板電器無人工廠“九天中樞”智能制造平臺提供助力。AR數(shù)字車間可以在直觀的物理世界屏幕上為現(xiàn)場管理人員提供生產(chǎn)線和設(shè)備的實時數(shù)據(jù)，并將大量視頻畫面、生產(chǎn)數(shù)據(jù)和設(shè)備數(shù)據(jù)組合成一個視圖，幫助企業(yè)更快地應(yīng)對突發(fā)事件；還可以將現(xiàn)場人員與管理人員或遠程專家聯(lián)系起來，提供遠程實時指導(dǎo)；同時，通過視頻圖像可以確定分配給高周轉(zhuǎn)量產(chǎn)品的線邊空間量，實時監(jiān)控裝卸、計劃數(shù)據(jù)、產(chǎn)出數(shù)據(jù)，幫助公司優(yōu)化空間。

?？低?AR 數(shù)字工廠示意圖

2）旅游景區(qū)：AI機器視覺助力實現(xiàn)客流管理、智能運維、火災(zāi)預(yù)警和環(huán)境動植物監(jiān)測?；谥悄軝z測終端、智能網(wǎng)絡(luò)、物聯(lián)網(wǎng)技術(shù)和移動應(yīng)用，人工智能機器視覺可實現(xiàn)景區(qū)地理、自然資源、基礎(chǔ)設(shè)施和景區(qū)管理的數(shù)字化和可視化；完善旅游景區(qū)車輛、人員、資產(chǎn)和事件的安全管理。同時，通過智能分析和數(shù)據(jù)應(yīng)用，增強景區(qū)安全，優(yōu)化景區(qū)管理，豐富游客服務(wù)，助力景區(qū)環(huán)境和經(jīng)濟可持續(xù)發(fā)展。目前，大華股份的旅游景區(qū)解決方案已應(yīng)用于四川大邑縣、福建清源山景區(qū)等地的全域旅游項目。

大華股份智慧景區(qū)項目展示

2、AIGC技術(shù)方興未艾，基于NLP技術(shù)未來有望創(chuàng)新內(nèi)容創(chuàng)作方式

AIGC是一種利用AI技術(shù)自動生成內(nèi)容的生產(chǎn)方式，包括文本、圖片、視頻等多種形式的內(nèi)容。AIGC 是基于人工智能的內(nèi)容生產(chǎn)，一般來說，使用形式是將需要生成的內(nèi)容通過句子以一定的格式描述出來，然后讓AI系統(tǒng)自動生成文字/圖片/視頻等。目前，國內(nèi)外已有多家廠商在AIGC領(lǐng)域布局，比如國內(nèi)的 AI 小說續(xù)寫軟件彩云小夢、OpenAI 推出的 AI 繪畫 模型 Dall-E、知名 AI 繪畫網(wǎng)站 midjourney 等。

AIGC 應(yīng)用領(lǐng)域一覽

NLP 能力決定了 AIGC 應(yīng)用對用戶意圖的理解力，是生產(chǎn)力的重要組成部分，ChatGPT 的到來有望加速其技術(shù)迭代。由于目前 AIGC 的生產(chǎn)模式，是通過語言文字的方式輸入 用戶需求，所以，如何理解用戶所描述的內(nèi)容，就成為決定成品效果的重要因素。而 NLP 技術(shù)，正是理解用戶意圖的關(guān)鍵所在。ChatGPT 作為當前效果最好的對話式 NLP 模型之 一，它的出現(xiàn)有望提升 AI 理解人類意圖的水平，從而加速 AIGC 技術(shù)的迭代。

Chat GPT 的底層架構(gòu)

作為一種人工智能模型，ChatGPT 的訓(xùn)練和推理需要大量的計算資源。與 CPU 相比，GPU 具有更高的并行性和處理能力，因此常常被用來加速深度學(xué)習(xí)任務(wù)的運算。因此，ChatGPT 的訓(xùn)練和推理通常會利用 GPU 來加速計算。

在訓(xùn)練過程中，ChatGPT 的架構(gòu)可以采用分布式訓(xùn)練的方式，使用多個 GPU 并行計算，以加速訓(xùn)練過程。在推理階段，ChatGPT 可以使用 GPU 進行加速，以實現(xiàn)更快的響應(yīng)時間和更高的吞吐量。

對于 GPU 的選擇，一般來說，需要考慮 GPU 的計算能力、內(nèi)存大小、功耗、價格等因素。同時，也需要考慮 GPU 的架構(gòu)是否與 ChatGPT 的計算需求相匹配，以獲得最佳的性能和效率。例如，NVIDIA 的 Volta、Turing 和 Ampere 架構(gòu)都被廣泛應(yīng)用于深度學(xué)習(xí)領(lǐng)域，包括 ChatGPT 的訓(xùn)練和推理。

GPU的核心競爭力在于架構(gòu)等因素決定的性能先進性和計算生態(tài)壁壘。國內(nèi)GPU廠商紛紛大力投入研發(fā)快速迭代架構(gòu)，推動產(chǎn)業(yè)開放構(gòu)建自主生態(tài)，加速追趕全球頭部企業(yè)。國產(chǎn)替代需求持續(xù)釋放疊加國際局勢不確定性加劇， AI、數(shù)據(jù)中心、智能汽車、游戲等GPU需求有望高增，國產(chǎn)GPU迎來發(fā)展黃金期，我們看好國產(chǎn)GPU公司的發(fā)展與投資機遇。

一、如何理解GPU的架構(gòu)

為了充分理解GPU的架構(gòu)，讓我們再返回來看下第一張圖，一個顯卡中絕大多數(shù)都是計算核心core組成的海洋。在圖像縮放的例子中，core與core之間不需要任何協(xié)作，因為他們的任務(wù)是完全獨立的，然而，GPU解決的問題不一定這么簡單，讓我們來舉個例子。

假設(shè)我們需要對一個數(shù)組里的數(shù)進行求和，這樣的運算屬于reductuin family類型，因為這樣的運算試圖將一個序列“reduce”簡化為一個數(shù)。計算數(shù)組的元素總和的操作看起來是順序的，我們只需要獲取第一個元素，求和到第二個元素中，獲取結(jié)果，再將結(jié)果求和到第三個元素，以此類推。

令人驚訝的是，一些看起來本質(zhì)是順序的運算，其實可以再并行算法中轉(zhuǎn)化。假設(shè)一個長度為8的數(shù)組，在第一步中完全可以并行執(zhí)行兩個元素和兩個元素的求和，從而同時獲得四個元素，兩兩相加的結(jié)果，以此類推，通過并行的方式加速數(shù)組求和的運算速度。具體的操作如下圖所示，

如上圖計算方式，如果是長度為8的數(shù)組兩兩并行求和計算，那么只需要三次就可以計算出結(jié)果。如果是順序計算需要8次。如果按照兩兩并行相加的算法，N個數(shù)字相加，那么僅需要log2（N）次就可以完成計算。

從GPU的角度來講，只需要四個core就可以完成長度為8的數(shù)組求和算法，我們將四個core編號為0，1，2，3。

那么第一個時鐘下，兩兩相加的結(jié)果通過0號core計算，放入了0號core可以訪問到的內(nèi)存中，另外兩兩對分別由1號2號3號core來計算，第二個個時鐘繼續(xù)按照之前的算法計算，只需要0號和1號兩個core即可完成，以此類推，最終的結(jié)果將在第三個時鐘由0號core計算完成，并儲存在0號core可以訪問到的內(nèi)存中。這樣實際三次就能完成長度為8的數(shù)組求和計算。

如果GPU想要完成上述的推理計算過程，顯然，多個core之間要可以共享一段內(nèi)存空間以此來完成數(shù)據(jù)之間的交互，需要多個core可以在共享的內(nèi)存空間中完成讀/寫的操作。我們希望每個Cores都有交互數(shù)據(jù)的能力，但是不幸的是，一個GPU里面可以包含數(shù)以千計的core，如果使得這些core都可以訪問共享的內(nèi)存段是非常困難和昂貴的。出于成本的考慮，折中的解決方案是將各類GPU的core分類為多個組，形成多個流處理器(Streaming Multiprocessors )或者簡稱為SMs。

二、最終的GPU架構(gòu)

The Turing architecture

上圖的綠色部分意味著Core計算單元，綠色的塊就是上文談到的Streaming Multiprocessors，理解為Core的集合。黃色的部分名為RT COREs畫的離SMs非常近。單個SM的圖靈架構(gòu)如下圖所示

The Turing SM

在SM的圖靈結(jié)構(gòu)中，綠色的部分CORE相關(guān)的，我們進一步區(qū)分了不同類型的CORE。主要分為INT32,FP32，TENSOR CORES。FP32 Cores，執(zhí)行單進度浮點運算，在TU102卡中，每個SM由64個FP32核，TU120由72個SMs因此，F(xiàn)P32 Core的數(shù)量是 72 * 64。

FP64 Cores. 實際上每個SM都包含了2個64位浮點計算核心FP64 Cores，用來計算雙精度浮點運算，雖然上圖沒有畫出，但是實際是存在的。Integer Cores，這些core執(zhí)行一些對整數(shù)的操作，例如地址計算，可以和浮點運算同時執(zhí)行指令。在前幾代GPU中，執(zhí)行這些整型操作指令都會使得浮點運算的管道停止工作。TU102總共有4608個Integer Cores，每個SM有64個SM。

Tensor Cores，張量core是FP16單元的變種，認為是半精度單元，致力于張量積算加速常見的深度學(xué)習(xí)操作。圖靈張量Core還可以執(zhí)行INT8和INT4精度的操作，用于可以接受量化而且不需要FP16精度的應(yīng)用場景，在TU102中，我們每個SM有8個張量Cores，一共有8 * 72個Tensor Cores。

在大致描述了GPU的執(zhí)行部分之后，讓我們回到上文提出的問題，各個核心之間如何完成彼此的協(xié)作？

在四個SM塊的底部有一個96KB的L1 Cache，用淺藍色標注的。這個cache段是允許各個Core都可以訪問的段，在L1 Cache中每個SM都有一塊專用的共享內(nèi)存。作為芯片上的L1 cache的大小是有限的，但它非?？?，肯定比訪問GMEM快得多。

實際上L1 CACHE擁有兩個功能，一個是用于SM上Core之間相互共享內(nèi)存，另一個則是普通的cache功能。當Core需要協(xié)同工作，并且彼此交換結(jié)果的時候，編譯器編譯后的指令會將部分結(jié)果儲存在共享內(nèi)存中，以便于不同的core獲取到對應(yīng)數(shù)據(jù)。當用作普通cache功能的時候，當core需要訪問GMEM數(shù)據(jù)的時候，首先會在L1中查找，如果沒找到，則回去L2 cache中尋找，如果L2 cache也沒有，則會從GMEM中獲取數(shù)據(jù)，L1訪問最快 L2 以及GMEM遞減。緩存中的數(shù)據(jù)將會持續(xù)存在，除非出現(xiàn)新的數(shù)據(jù)做替換。從這個角度來看，如果Core需要從GMEM中多次訪問數(shù)據(jù)，那么編程者應(yīng)該將這塊數(shù)據(jù)放入功能內(nèi)存中，以加快他們的獲取速度。其實可以將共享內(nèi)存理解為一段受控制的cache，事實上L1 cache和共享內(nèi)存是同一塊電路中實現(xiàn)的。編程者有權(quán)決定L1 的內(nèi)存多少是用作cache多少是用作共享內(nèi)存。

最后，也是比較重要的是，可以儲存各個core的計算中間結(jié)果，用于各個核心之間共享的內(nèi)存段不僅僅可以是共享內(nèi)存L1，也可以是寄存器，寄存器是離core最近的內(nèi)存段，但是也非常小。最底層的思想是每個線程都可以擁有一個寄存器來儲存中間結(jié)果，每個寄存器只能由相同的一個線程來訪問，或者由相同的warp或者組的線程訪問。

三、海外復(fù)盤：NVIDIA與AMD（ATI）的競爭貫穿GPU發(fā)展歷程，架構(gòu)創(chuàng)新升級和新興AI等領(lǐng)域前瞻探索是領(lǐng)跑的關(guān)鍵

1、NVIDIA長期居于GPU市場領(lǐng)導(dǎo)地位，近年AMD憑借RDNA架構(gòu)在游戲市場強勢崛起。Verified Market Research數(shù)據(jù)顯示，2022年全球獨立GPU市場規(guī)模約448.3億美元，NVIDIA和AMD的市場份額占比約為8:2。根據(jù)JPR數(shù)據(jù)，NVIDIA憑借自身性能領(lǐng)先和CUDA生態(tài)優(yōu)勢性 始終占有GPU領(lǐng)域超50%的市場份額，數(shù)據(jù)中心業(yè)務(wù)更是全面領(lǐng)先，在游戲顯卡領(lǐng)域，近年AMD憑借RDNA系列架構(gòu)強勢崛起。

2、NVIDIA先后與AMD等企業(yè)在性能方面競爭博弈，架構(gòu)創(chuàng)新升級和新興領(lǐng)域前瞻探索是領(lǐng)跑GPU行業(yè)的關(guān)鍵。NVIDIA憑借性能領(lǐng)先長期占據(jù)超五成市場份額，AMD（ATI）也曾因架構(gòu)出色、性能驚艷實現(xiàn)反超。同時NVIDIA早在2006年前瞻性布局通用計算、構(gòu)建CUDA生態(tài)，為如今AI&數(shù)據(jù)中心領(lǐng)域的全面領(lǐng)先構(gòu)筑牢固的壁壘。NVIDIA積極布局異構(gòu)芯片、汽車、元宇宙等新市場，尋找新的強有力業(yè)務(wù)增長點。

四、國內(nèi)GPU市場：各應(yīng)用場景市場廣闊，國內(nèi)廠商大有可為

1、GPU市場空間廣闊，國內(nèi)企業(yè)規(guī)模逐步起量

2022年全球GPU市場規(guī)模達到448.3億美元，國內(nèi)外市場空間正高速增長，年復(fù)合增長率達到32.8% ，Verified Market Research 數(shù)據(jù)顯示，2020年，全球GPU市場規(guī)模為254.1億美元，且該機構(gòu)預(yù)計2028年市場規(guī)模將達到2465.1億美元， 對應(yīng)年復(fù)合增長率達32.8%。

國際獨立GPU市場由Nvidia、AMD八二分成，國內(nèi)市場中國企業(yè)體量快速增長國際市場上，英偉達、AMD瓜分市場，Jon Peddie Research數(shù)據(jù)顯示2022Q1英偉達占據(jù)79%市場份額，AMD占據(jù)21%。英偉達在獨立GPU領(lǐng)域一枝獨秀，AMD在集成GPU領(lǐng)域可與英偉達競爭。根據(jù)各公司財報，國內(nèi)GPU龍頭企業(yè)景嘉微2022年上半年營業(yè)收入5.44億人民幣，2021年營業(yè)收入10.93億人民幣；2022年上半年海光信息營業(yè)收入為25.3億元，而英偉達2022Q2營收為67億美元，2021年NVIDIA中國區(qū)的營收約為71億美元。相比之下，國產(chǎn)廠商相對規(guī)模暫時較小，未來成長空間廣闊。

2、國內(nèi)市場：GPU應(yīng)用市場可劃分為—AI和數(shù)據(jù)中心、智能汽車、游戲

1）需求端1—AI

ChatGPT等AI大模型加速對大算力的需求

2022年11月人工智能實驗室 OpenAI 推出了一款A(yù)I對話系統(tǒng)—ChatGPT，ChatGPT模型從 GPT-3.5 系列中的一個模型微調(diào)而成，并在 Azure AI 超級計算基礎(chǔ)設(shè)施上進行訓(xùn)練，能夠進行有邏輯的對話、撰寫代碼、撰寫劇本、糾正錯誤、拒絕不正當?shù)恼埱蟮?，效果超越大眾預(yù)期。這標志著對話類人工智能可以在大范圍、細節(jié)問題上給出較合理準確的答案，并根據(jù)上下文形成一定像人類一樣有邏輯且有創(chuàng) 造力的回答。ChatGPT的優(yōu)化主要來自模型的增大，以及因此帶來的算力增加。GPT、GPT-2和GPT-3（當前開放的版本為GPT-3.5）的參數(shù)量從1.17 億增加到1750億，預(yù)訓(xùn)練數(shù)據(jù)量從5GB增加到45TB，其中GPT-3訓(xùn)練單次的成本就高達460萬美元。

大模型算力

數(shù)據(jù)中心和終端場景不斷落地對計算芯片提出更多更高需求

依據(jù)部署位置劃分，AI芯片可以細分為終端芯片和云端芯片，云端芯片市場空間約為終端芯片的2-3倍。云端芯片：云端芯片應(yīng)用于云端服務(wù)器，可以進一步細分為推理芯片和訓(xùn)練芯片。根據(jù)甲子光年數(shù)據(jù)，2018年中國云端芯片市場約46.1 億元，該機構(gòu)預(yù)計2023年增長至384.6億元。終端芯片：應(yīng)用于嵌入式、移動終端、智能制造、智能家居等領(lǐng)域的AI芯片，終端芯片需要低功耗和更高的能效比，但是對算力的需求也相對較低，主要應(yīng)用于AI推理。根據(jù)甲子光年數(shù)據(jù)，2018年中國終端芯片市場約15億元，該機構(gòu)預(yù)計2023年增長至173億元。

AI芯片總市場232億元，其中云端芯片市場空間更大，預(yù)計終端芯片將隨著AI在多行業(yè)落地將進一步放量。甲子光年預(yù)測，中國AI芯片市場規(guī)模將從2021年232億元增長至2023年的500億元左右，對應(yīng)中國云端芯片市場的復(fù)合增長率為52.8%；終端芯片市場規(guī)模相對較小，但由于人工智能在汽車、安防、智能家居等行業(yè)滲透，屆時市場規(guī)模增長率達到62.2%。

中國終端AI芯片市場規(guī)模（億元）

2）需求端2—汽車：汽車智能化浪潮下控制器GPU市場前景廣闊。自動駕駛和智能座艙是智能汽車中具有廣闊前景的方向。蓋世汽車數(shù)據(jù)預(yù)計，2025年自動駕駛域控制器出貨量將達到432萬臺，每臺自動駕駛域控制器配備1-4片高性能計算GPU；智能座艙域控制器出貨量達到528萬臺，絕大多數(shù)智能座艙域控制器配備1片GPU。自動駕駛技術(shù)進一步智能化拉動汽車GPU市場規(guī)模快速擴張。

3）需求端3—游戲：游戲玩家人數(shù)持續(xù)增長，游戲GPU市場穩(wěn)中有升。Newzoo Expert數(shù)據(jù)顯示全球游戲玩家人數(shù)在2021年已達到30.57億人，且預(yù)計2020-2025年全球游戲玩家人數(shù)復(fù)合年增率為4.2%；游戲市場內(nèi)，游戲機和PC兩大主體出貨量再創(chuàng)新高，游戲機三大巨頭2021年出貨量高達4008萬臺；2021年Q4全球PC GPU出貨量（包括集成和獨立顯卡）高達11000萬片。

3、國內(nèi)GPU發(fā)展現(xiàn)狀

1)GPU市場規(guī)模逐年增長：據(jù)市場研究公司IDC數(shù)據(jù)顯示，2020年中國GPU市場規(guī)模為92.9億美元，同比增長15.5%。其中游戲、數(shù)據(jù)中心、人工智能等領(lǐng)域是GPU市場的主要需求方。

2)國內(nèi)GPU廠商崛起：中國有多家GPU廠商在市場中嶄露頭角，例如華為、寒武紀、顯現(xiàn)科技、紫光展銳等。這些公司在GPU技術(shù)研發(fā)、產(chǎn)品創(chuàng)新、市場拓展等方面取得了不少成果，并開始在一些領(lǐng)域嶄露頭角。

3)國內(nèi)GPU技術(shù)水平提升：中國在GPU技術(shù)研發(fā)領(lǐng)域也取得了一些成果，例如國產(chǎn)化的GPU服務(wù)器、AI加速卡、圖像處理器等，這些技術(shù)的出現(xiàn)使得國內(nèi)GPU應(yīng)用的范圍進一步擴大。

4)GPU在科研領(lǐng)域的應(yīng)用逐步增多：GPU在科研領(lǐng)域的應(yīng)用逐步增多，例如天河系列超級計算機、中國科學(xué)院的高性能計算平臺等。GPU的應(yīng)用不僅加速了科研進程，也為國家科技創(chuàng)新提供了支撐。

總結(jié)

數(shù)字中國建設(shè)是中國國家發(fā)展戰(zhàn)略的一部分，旨在推動數(shù)字化、信息化和網(wǎng)絡(luò)化的全面發(fā)展，提高數(shù)字經(jīng)濟的貢獻率，構(gòu)建數(shù)字社會和數(shù)字政府，加強國家信息安全和網(wǎng)絡(luò)安全等。數(shù)字中國建設(shè)的整體布局規(guī)劃應(yīng)該包括以下幾個方面：

1、建設(shè)數(shù)字基礎(chǔ)設(shè)施：包括建設(shè)高速寬帶網(wǎng)絡(luò)、移動通信網(wǎng)絡(luò)、物聯(lián)網(wǎng)等數(shù)字基礎(chǔ)設(shè)施，提高網(wǎng)絡(luò)帶寬和速度，實現(xiàn)全國覆蓋。

2、推進數(shù)字產(chǎn)業(yè)發(fā)展：包括培育數(shù)字經(jīng)濟新業(yè)態(tài)，加強數(shù)字產(chǎn)業(yè)集聚區(qū)建設(shè)，促進數(shù)字化轉(zhuǎn)型，提高數(shù)字產(chǎn)業(yè)的國際競爭力。

3、構(gòu)建數(shù)字社會：加強數(shù)字技術(shù)與社會發(fā)展的融合，建立數(shù)字健康、數(shù)字教育、數(shù)字文化等數(shù)字社會基礎(chǔ)設(shè)施，提高人民群眾的數(shù)字素養(yǎng)和數(shù)字生活質(zhì)量。

4、推進數(shù)字政府建設(shè)：通過建設(shè)數(shù)字政府平臺、數(shù)字化行政審批、電子政務(wù)等手段，提高政府工作效率和公共服務(wù)水平，推進政府治理現(xiàn)代化。

5、加強信息安全和網(wǎng)絡(luò)安全：建設(shè)信息安全和網(wǎng)絡(luò)安全的法律制度體系，強化網(wǎng)絡(luò)空間安全管理，提高信息安全和網(wǎng)絡(luò)安全能力。

通過數(shù)字中國建設(shè)的整體布局規(guī)劃，可以實現(xiàn)數(shù)字化、信息化和網(wǎng)絡(luò)化的全面發(fā)展，加速數(shù)字經(jīng)濟的發(fā)展，提高社會生產(chǎn)力和國家綜合實力。此外，ChatGPT可以通過學(xué)習(xí)數(shù)字中國建設(shè)的整體布局規(guī)劃，深入了解數(shù)字技術(shù)在國家戰(zhàn)略和社會發(fā)展中的應(yīng)用，從而提高對數(shù)字經(jīng)濟、數(shù)字社會、數(shù)字政府等領(lǐng)域的理解和認知，為未來發(fā)展提供更加全面和深入的思路和支持。

審核編輯黃宇