GPU計算的目的即是計算加速。相比于CPU，其具有以下三個方面的優(yōu)勢：

1

并行度高：GPU的Core數(shù)遠遠多于CPU，從而GPU的任務并發(fā)度也遠高于CPU；

2

內(nèi)存帶寬高：GPU的內(nèi)存系統(tǒng)帶寬幾十倍高于CPU；

3

運行速度快：GPU在浮點運算速度上較之CPU也具有絕對優(yōu)勢。

另一方面，GPU采用的SIMD（Single Instruction Multiple Data）架構(gòu)，這決定了其對執(zhí)行的任務具有特定的要求（如不適合判斷邏輯過多的任務，數(shù)據(jù)大小不可控的任務等）。而且，應用程序在GPU上也需有特定的實現(xiàn)，包括算法的GPU并行化，程序的定制等。因此，針對GPU并行處理的研究成為一大研究熱點。

現(xiàn)有GPU采用SIMD方式執(zhí)行，即所有線程塊在同一時刻執(zhí)行相同的程序，從而若這些線程塊處理的數(shù)據(jù)量相差大，或計算量分布不均，便會帶來線程塊的負載不均，進而影響整個任務執(zhí)行效率。這類問題實則常見的Skew Handling或Load Inbalance問題。

應用算法的GPU并行化之所以成為一個研究問題而不僅僅是工程問題，這其中的主要的問題在于

1GPU不支持內(nèi)存的動態(tài)分配，從而對于輸出結(jié)果大小不確定的任務是一個極大的挑戰(zhàn)；2GPU的SIMD特性使得很多算法不易很好實現(xiàn)，即如何充分利用GPU線程塊的并行度；3共享數(shù)據(jù)的競爭讀寫，共享數(shù)據(jù)的鎖機制帶來大量的等待時間消耗。

GPU作為一種協(xié)處理器，其的執(zhí)行受CPU調(diào)度。在實際應用中，GPU更多的也是配合CPU工作，從而基于CPU/GPU異構(gòu)系統(tǒng)的統(tǒng)一任務調(diào)度更具實用意義，也是有關GPU的重要研究方面。

GPU采用SIMD架構(gòu)，各線程塊在同一時刻執(zhí)行相同的Instruction，但對應的是不同的數(shù)據(jù)。但事實上，GPU線程塊具有如下特征：

每個線程塊只對應于一個的流處理器（SM），即其只能被該對應的SM執(zhí)行，而一個SM可以對應多個線程塊；SM在執(zhí)行線程塊時，線程塊中的線程以Warp（每32個線程）為單位調(diào)度及并行執(zhí)行；

線程塊內(nèi)的線程可同步，而不同線程塊的同步則只能由CPU調(diào)用同步命令完成；

不同線程塊的運行相互獨立。

因此，為不同的線程塊分配不同的任務，使得GPU做到任務并行，最大化GPU的利用成為可能并具有重要的研究意義。