一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

詳解剖析Go語(yǔ)言調(diào)度模型的設(shè)計(jì)

馬哥Linux運(yùn)維 ? 來(lái)源:愛(ài)戶外的程序猿 ? 作者:愛(ài)戶外的程序猿 ? 2021-07-26 10:12 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

golang的MPG調(diào)度模型是保障Go語(yǔ)言效率高的一個(gè)重要特性,本文詳細(xì)介紹了Go語(yǔ)言調(diào)度模型的設(shè)計(jì)。

前言

Please remember that at the end of the day, all programs that work on UNIX machines end up using C system calls to communicate with the UNIX kernel and perform most of their tasks. 所有在 UNIX 系統(tǒng)上運(yùn)行的程序最終都會(huì)通過(guò) C 系統(tǒng)調(diào)用來(lái)和內(nèi)核打交道。

用其他語(yǔ)言編寫(xiě)程序進(jìn)行系統(tǒng)調(diào)用,方法不外乎兩個(gè):一是自己封裝,二是依賴 glibc、或者其他的運(yùn)行庫(kù)。Go 語(yǔ)言選擇了前者,把系統(tǒng)調(diào)用都封裝到了 syscall 包。封裝時(shí)也同樣得通過(guò)匯編實(shí)現(xiàn)。

異步系統(tǒng)調(diào)用 G 會(huì)和MP分離(G掛到netpoller),同步系統(tǒng)調(diào)用 GM 會(huì)和P分離(P另尋M),生動(dòng)的說(shuō)明了GPM相對(duì)GM的精妙之處。

阻塞

在 Go 里面阻塞主要分為以下 4 種場(chǎng)景:

由于原子、互斥量或通道操作調(diào)用導(dǎo)致 Goroutine 阻塞,調(diào)度器將把當(dāng)前阻塞的 Goroutine 切換出去,重新調(diào)度 LRQ 上的其他 Goroutine;

由于網(wǎng)絡(luò)請(qǐng)求和 IO 操作導(dǎo)致 Goroutine 阻塞。Go 程序提供了網(wǎng)絡(luò)輪詢器(NetPoller)來(lái)處理網(wǎng)絡(luò)請(qǐng)求和 IO 操作的問(wèn)題,其后臺(tái)通過(guò) kqueue(MacOS),epoll(Linux)或 iocp(Windows)來(lái)實(shí)現(xiàn) IO 多路復(fù)用。通過(guò)使用 NetPoller 進(jìn)行網(wǎng)絡(luò)系統(tǒng)調(diào)用,調(diào)度器可以防止 Goroutine 在進(jìn)行這些系統(tǒng)調(diào)用時(shí)阻塞 M。

這可以讓 M 執(zhí)行 P 的 LRQ 中其他的 Goroutines,而不需要?jiǎng)?chuàng)建新的 M。執(zhí)行網(wǎng)絡(luò)系統(tǒng)調(diào)用不需要額外的 M,網(wǎng)絡(luò)輪詢器使用系統(tǒng)線程,它時(shí)刻處理一個(gè)有效的事件循環(huán),有助于減少操作系統(tǒng)上的調(diào)度負(fù)載。

用戶層眼中看到的 Goroutine 中的“block socket”,實(shí)現(xiàn)了 goroutine-per-connection 簡(jiǎn)單的網(wǎng)絡(luò)編程模式。實(shí)際上是通過(guò) Go runtime 中的 netpoller 通過(guò) Non-block socket + I/O 多路復(fù)用機(jī)制“模擬”出來(lái)的。

當(dāng)調(diào)用一些系統(tǒng)方法的時(shí)候(如文件 I/O),如果系統(tǒng)方法調(diào)用的時(shí)候發(fā)生阻塞,這種情況下,網(wǎng)絡(luò)輪詢器(NetPoller)無(wú)法使用,而進(jìn)行系統(tǒng)調(diào)用的 G1 將阻塞當(dāng)前 M1。調(diào)度器引入 其它M 來(lái)服務(wù) M1 的P。

如果在 Goroutine 去執(zhí)行一個(gè) sleep 操作,導(dǎo)致 M 被阻塞了。Go 程序后臺(tái)有一個(gè)監(jiān)控線程 sysmon,它監(jiān)控那些長(zhǎng)時(shí)間運(yùn)行的 G 任務(wù)然后設(shè)置可以強(qiáng)占的標(biāo)識(shí)符,別的 Goroutine 就可以搶先進(jìn)來(lái)執(zhí)行。

系統(tǒng)調(diào)用

Go 語(yǔ)言通過(guò) Syscall 和 Rawsyscall 等使用匯編語(yǔ)言編寫(xiě)的方法封裝了操作系統(tǒng)提供的所有系統(tǒng)調(diào)用,其中 Syscall 在 Linux 386 上的實(shí)現(xiàn)如下:

TEXT ·Syscall(SB),NOSPLIT,$0-28

CALL runtime·entersyscall(SB)

MOVL trap+0(FP), AX // syscall entry

MOVL a1+4(FP), BX

MOVL a2+8(FP), CX

MOVL a3+12(FP), DX

MOVL $0, SI

MOVL $0, DI

INVOKE_SYSCALL

CMPL AX, $0xfffff001

JLS ok

MOVL $-1, r1+16(FP)

MOVL $0, r2+20(FP)

NEGL AX

MOVL AX, err+24(FP)

CALL runtime·exitsyscall(SB)

RET

ok:

MOVL AX, r1+16(FP)

MOVL DX, r2+20(FP)

MOVL $0, err+24(FP)

CALL runtime·exitsyscall(SB)

RET

Golang - 調(diào)度剖析 https://segmentfault.com/a/1190000016611742

Go: Goroutine, OS Thread and CPU Management https://medium.com/a-journey-with-go/go-goroutine-os-thread-and-cpu-management-2f5a5eaf518a

Go optimizes the system calls — whatever it is blocking or not — by wrapping them up in the runtime. This wrapper will automatically dissociate the P from the thread M and allow another thread to run on it.

異步系統(tǒng)調(diào)用

通過(guò)使用網(wǎng)絡(luò)輪詢器進(jìn)行網(wǎng)絡(luò)系統(tǒng)調(diào)用,調(diào)度器可以防止 Goroutine 在進(jìn)行這些系統(tǒng)調(diào)用時(shí)阻塞M。這可以讓M執(zhí)行P的 LRQ 中其他的 Goroutines,而不需要?jiǎng)?chuàng)建新的M。有助于減少操作系統(tǒng)上的調(diào)度負(fù)載。

G1正在M上執(zhí)行,還有 3 個(gè) Goroutine 在 LRQ 上等待執(zhí)行

接下來(lái),G1想要進(jìn)行網(wǎng)絡(luò)系統(tǒng)調(diào)用,因此它被移動(dòng)到網(wǎng)絡(luò)輪詢器并且處理異步網(wǎng)絡(luò)系統(tǒng)調(diào)用。然后,M可以從 LRQ 執(zhí)行另外的 Goroutine。

最后:異步網(wǎng)絡(luò)系統(tǒng)調(diào)用由網(wǎng)絡(luò)輪詢器完成,G1被移回到P的 LRQ 中。一旦G1可以在M上進(jìn)行上下文切換,它負(fù)責(zé)的 Go 相關(guān)代碼就可以再次執(zhí)行。

同步系統(tǒng)調(diào)用

G1將進(jìn)行同步系統(tǒng)調(diào)用以阻塞M1

調(diào)度器介入后:識(shí)別出G1已導(dǎo)致M1阻塞,此時(shí),調(diào)度器將M1與P分離,同時(shí)也將G1帶走。然后調(diào)度器引入新的M2來(lái)服務(wù)P。

b030aa1a-db82-11eb-9e57-12bb97331649.png

阻塞的系統(tǒng)調(diào)用完成后:G1可以移回 LRQ 并再次由P執(zhí)行。如果這種情況需要再次發(fā)生,M1將被放在旁邊以備將來(lái)使用。

b03e4c56-db82-11eb-9e57-12bb97331649.png

sysmon 協(xié)程

b04936ca-db82-11eb-9e57-12bb97331649.jpg

在 linux 內(nèi)核中有一些執(zhí)行定時(shí)任務(wù)的線程, 比如定時(shí)寫(xiě)回臟頁(yè)的 pdflush, 定期回收內(nèi)存的 kswapd0, 以及每個(gè) cpu 上都有一個(gè)負(fù)責(zé)負(fù)載均衡的 migration 線程等。在 go 運(yùn)行時(shí)中也有類似的協(xié)程 sysmon. sysmon 運(yùn)行在 M,且不需要 P。它會(huì)每隔一段時(shí)間檢查 Go 語(yǔ)言runtime,確保程序沒(méi)有進(jìn)入異常狀態(tài)。

系統(tǒng)監(jiān)控的觸發(fā)時(shí)間就會(huì)穩(wěn)定在 10ms,功能比較多:

檢查死鎖runtime.checkdead

運(yùn)行計(jì)時(shí)器 — 獲取下一個(gè)需要被觸發(fā)的計(jì)時(shí)器;

定時(shí)從 netpoll 中獲取 ready 的協(xié)程

Go 的搶占式調(diào)度

當(dāng) sysmon 發(fā)現(xiàn) M 已運(yùn)行同一個(gè) G(Goroutine)10ms 以上時(shí),它會(huì)將該 G 的內(nèi)部參數(shù) preempt 設(shè)置為 true。然后,在函數(shù)序言中,當(dāng) G 進(jìn)行函數(shù)調(diào)用時(shí),G 會(huì)檢查自己的 preempt 標(biāo)志,如果它為 true,則它將自己與 M 分離并推入“全局隊(duì)列”。由于它的工作方式(函數(shù)調(diào)用觸發(fā)),在 for{} 的情況下并不會(huì)發(fā)生搶占,如果沒(méi)有函數(shù)調(diào)用,即使設(shè)置了搶占標(biāo)志,也不會(huì)進(jìn)行該標(biāo)志的檢查。

Go1.14 引入搶占式調(diào)度(使用信號(hào)的異步搶占機(jī)制),sysmon 仍然會(huì)檢測(cè)到運(yùn)行了 10ms 以上的 G(goroutine)。然后,sysmon 向運(yùn)行 G 的 P 發(fā)送信號(hào)(SIGURG)。Go 的信號(hào)處理程序會(huì)調(diào)用P上的一個(gè)叫作 gsignal 的 goroutine 來(lái)處理該信號(hào),將其映射到 M 而不是 G,并使其檢查該信號(hào)。gsignal 看到搶占信號(hào),停止正在運(yùn)行的 G。

在滿足條件時(shí)觸發(fā)垃圾收集回收內(nèi)存;

打印調(diào)度信息,歸還內(nèi)存等定時(shí)任務(wù)。

轉(zhuǎn)自:bert.li@ximalaya.com

qiankunli.github.io/2020/11/21/goroutine_system_call.html

編輯:jq

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • go語(yǔ)言
    +關(guān)注

    關(guān)注

    1

    文章

    159

    瀏覽量

    9370

原文標(biāo)題:Golang 系統(tǒng)調(diào)用與阻塞處理

文章出處:【微信號(hào):magedu-Linux,微信公眾號(hào):馬哥Linux運(yùn)維】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    鴻蒙中Stage模型與FA模型詳解

    【HarmonyOS 5】鴻蒙中Stage模型與FA模型詳解 ##鴻蒙開(kāi)發(fā)能力 ##HarmonyOS SDK應(yīng)用服務(wù)##鴻蒙金融類應(yīng)用 (金融理財(cái)# 一、前言 在HarmonyOS 5的應(yīng)用開(kāi)發(fā)
    的頭像 發(fā)表于 07-07 11:50 ?166次閱讀

    如何借助大語(yǔ)言模型打造人工智能生態(tài)系統(tǒng)

    語(yǔ)言模型(LLMs)正以革命性的姿態(tài)重塑我們與科技的互動(dòng)模式。然而,由于其龐大的規(guī)模,它們往往屬于資源密集型范疇,不僅大幅推高了成本,還造成了能源消耗的激增。本文深入剖析了大語(yǔ)言
    的頭像 發(fā)表于 04-27 09:19 ?553次閱讀
    如何借助大<b class='flag-5'>語(yǔ)言</b><b class='flag-5'>模型</b>打造人工智能生態(tài)系統(tǒng)

    一文詳解視覺(jué)語(yǔ)言模型

    視覺(jué)語(yǔ)言模型(VLM)是一種多模態(tài)、生成式 AI 模型,能夠理解和處理視頻、圖像和文本。
    的頭像 發(fā)表于 02-12 11:13 ?1757次閱讀
    一文<b class='flag-5'>詳解</b>視覺(jué)<b class='flag-5'>語(yǔ)言</b><b class='flag-5'>模型</b>

    語(yǔ)言模型管理的作用

    要充分發(fā)揮語(yǔ)言模型的潛力,有效的語(yǔ)言模型管理非常重要。以下,是對(duì)語(yǔ)言模型管理作用的分析,由AI部
    的頭像 發(fā)表于 01-02 11:06 ?385次閱讀

    AI大語(yǔ)言模型開(kāi)發(fā)步驟

    開(kāi)發(fā)一個(gè)高效、準(zhǔn)確的大語(yǔ)言模型是一個(gè)復(fù)雜且多階段的過(guò)程,涉及數(shù)據(jù)收集與預(yù)處理、模型架構(gòu)設(shè)計(jì)、訓(xùn)練與優(yōu)化、評(píng)估與調(diào)試等多個(gè)環(huán)節(jié)。接下來(lái),AI部落小編為大家詳細(xì)闡述AI大語(yǔ)言
    的頭像 發(fā)表于 12-19 11:29 ?892次閱讀

    語(yǔ)言模型開(kāi)發(fā)框架是什么

    語(yǔ)言模型開(kāi)發(fā)框架是指用于訓(xùn)練、推理和部署大型語(yǔ)言模型的軟件工具和庫(kù)。下面,AI部落小編為您介紹大語(yǔ)言
    的頭像 發(fā)表于 12-06 10:28 ?523次閱讀

    語(yǔ)言模型開(kāi)發(fā)語(yǔ)言是什么

    在人工智能領(lǐng)域,大語(yǔ)言模型(Large Language Models, LLMs)背后,離不開(kāi)高效的開(kāi)發(fā)語(yǔ)言和工具的支持。下面,AI部落小編為您介紹大語(yǔ)言
    的頭像 發(fā)表于 12-04 11:44 ?692次閱讀

    云端語(yǔ)言模型開(kāi)發(fā)方法

    云端語(yǔ)言模型的開(kāi)發(fā)是一個(gè)復(fù)雜而系統(tǒng)的過(guò)程,涉及數(shù)據(jù)準(zhǔn)備、模型選擇、訓(xùn)練優(yōu)化、部署應(yīng)用等多個(gè)環(huán)節(jié)。下面,AI部落小編為您分享云端語(yǔ)言模型的開(kāi)發(fā)
    的頭像 發(fā)表于 12-02 10:48 ?688次閱讀

    在學(xué)習(xí)go語(yǔ)言的過(guò)程踩過(guò)的坑

    作為一個(gè)5年的phper,這兩年公司和個(gè)人都在順應(yīng)技術(shù)趨勢(shì),新項(xiàng)目慢慢從php轉(zhuǎn)向了go語(yǔ)言,從2021年到現(xiàn)在,筆者手上也先后開(kāi)發(fā)了兩個(gè)go項(xiàng)目。在學(xué)習(xí)go
    的頭像 發(fā)表于 11-11 09:22 ?465次閱讀

    語(yǔ)言模型如何開(kāi)發(fā)

    語(yǔ)言模型的開(kāi)發(fā)是一個(gè)復(fù)雜且細(xì)致的過(guò)程,涵蓋了數(shù)據(jù)準(zhǔn)備、模型架構(gòu)設(shè)計(jì)、訓(xùn)練、微調(diào)和部署等多個(gè)階段。以下是對(duì)大語(yǔ)言模型開(kāi)發(fā)步驟的介紹,由AI部
    的頭像 發(fā)表于 11-04 10:14 ?604次閱讀

    go語(yǔ)言如何解決并發(fā)問(wèn)題

    作為一個(gè)后端開(kāi)發(fā),日常工作中接觸最多的兩門(mén)語(yǔ)言就是PHP和GO了。無(wú)可否認(rèn),PHP確實(shí)是最好的語(yǔ)言(手動(dòng)狗頭哈哈),寫(xiě)起來(lái)真的很舒爽,沒(méi)有任何心智負(fù)擔(dān),字符串和整型壓根就不用區(qū)分,開(kāi)發(fā)速度真的是比
    的頭像 發(fā)表于 10-23 13:38 ?502次閱讀
    <b class='flag-5'>go</b><b class='flag-5'>語(yǔ)言</b>如何解決并發(fā)問(wèn)題

    三十分鐘入門(mén)基礎(chǔ)Go Java小子版

    前言 Go語(yǔ)言定義 Go(又稱 Golang)是 Google 的 Robert Griesemer,Rob Pike 及 Ken Thompson 開(kāi)發(fā)的一種靜態(tài)、強(qiáng)類型、編譯型語(yǔ)言
    的頭像 發(fā)表于 08-12 14:32 ?983次閱讀
    三十分鐘入門(mén)基礎(chǔ)<b class='flag-5'>Go</b> Java小子版

    【《大語(yǔ)言模型應(yīng)用指南》閱讀體驗(yàn)】+ 基礎(chǔ)知識(shí)學(xué)習(xí)

    今天來(lái)學(xué)習(xí)大語(yǔ)言模型在自然語(yǔ)言理解方面的原理以及問(wèn)答回復(fù)實(shí)現(xiàn)。 主要是基于深度學(xué)習(xí)和自然語(yǔ)言處理技術(shù)。 大語(yǔ)言
    發(fā)表于 08-02 11:03

    【《大語(yǔ)言模型應(yīng)用指南》閱讀體驗(yàn)】+ 基礎(chǔ)篇

    今天開(kāi)始學(xué)習(xí)《大語(yǔ)言模型應(yīng)用指南》第一篇——基礎(chǔ)篇,對(duì)于人工智能相關(guān)專業(yè)技術(shù)人員應(yīng)該可以輕松加愉快的完成此篇閱讀,但對(duì)于我還是有許多的知識(shí)點(diǎn)、專業(yè)術(shù)語(yǔ)比較陌生,需要網(wǎng)上搜索學(xué)習(xí)更多的資料才能理解書(shū)中
    發(fā)表于 07-25 14:33

    【《大語(yǔ)言模型應(yīng)用指南》閱讀體驗(yàn)】+ 俯瞰全書(shū)

    上周收到《大語(yǔ)言模型應(yīng)用指南》一書(shū),非常高興,但工作項(xiàng)目繁忙,今天才品鑒體驗(yàn),感謝作者編寫(xiě)了一部?jī)?nèi)容豐富、理論應(yīng)用相結(jié)合、印刷精美的著作,也感謝電子發(fā)燒友論壇提供了一個(gè)讓我了解大語(yǔ)言模型
    發(fā)表于 07-21 13:35