嵌入式 AI

AI 簡報 20221028 期

1. vivo公布自研芯片黑科技 AI-ISP讓算力捅破天

原文：

https://app.myzaker.com/news/article.php?pk=63476be18e9f0903ac797c80

在討論一款手機(jī)的實力時，影像是其中最重要的評判維度之一。隨著手機(jī)攝影的發(fā)展，許多之前困擾手機(jī)的拍照難題，都迎來了行之有效的解決方案。其中，自研影像芯片成為移動影像迭代的一個核心方向，讓手機(jī)能夠在暗光和運動場景等一些高挑戰(zhàn)性場景中拍出好照片。

如今，一聊到自研芯片，很多熟悉數(shù)碼圈的朋友第 一時間想到的可能就是藍(lán)廠了。2021 年，vivo X70 系列攜vivo自研芯片V1 發(fā)布，實現(xiàn)更好的夜景成像效果，加之vivo對影像技術(shù)的大力投入，使得X系列獲得了很高的市場與消費者口碑。從X70 系列之后，手機(jī)行業(yè)也正式掀起了自研影像芯片的潮流。

在剛剛結(jié)束的影像戰(zhàn)略發(fā)布會上，vivo展示了其完善的影像技術(shù)矩陣。作為影像算法升級的最有力保障，vivo宣布將在下一代自研芯片設(shè)計中升級全新的架構(gòu)——從傳統(tǒng)ISP架構(gòu)升級為AI ISP架構(gòu)，進(jìn)一步提升影像效果體驗。

那么問題來了，AI-ISP是什么？

傳統(tǒng)ISP架構(gòu)雖然能以極低延時處理大量的數(shù)據(jù)流水，但只能解決已知的、特定的問題，面對復(fù)雜、隨機(jī)問題時則會面臨巨大的困難。而AI擅長處理復(fù)雜的、未知的問題。因此，將傳統(tǒng) ISP 低延時、高能效的特點進(jìn)一步帶入到 AI 實時處理運算架構(gòu)中，AI-ISP應(yīng)運而生。AI-ISP架構(gòu)結(jié)合兩者的優(yōu)勢，相當(dāng)于給傳統(tǒng)ISP芯片加一個新的AI大腦。

據(jù)vivo介紹，在AI-ISP上集成vivo自研的AI計算單元，讓數(shù)據(jù)吞吐速率、能效比都有了大幅提升，更適合海量的信息處理，因此能實現(xiàn)發(fā)散式的信息處理及存儲，使得處理與存儲的效率大大提高。在此基礎(chǔ)上AI-NR降噪、HDR影調(diào)融合、MEMC插幀等算法效果可以得到極大的優(yōu)化。

2. 車載抬頭顯示HUD從“黑科技”走向標(biāo)配，AR-HUD處于爆發(fā)前夜

原文：

https://mp.weixin.qq.com/s/TMhMjFZbw96n4CUkVQ_z1w

在高端乘用車完成試點以及認(rèn)知普及之后，車載HUD（抬頭顯示系統(tǒng)）終于在2020年開始了規(guī)模商用，很多人將這一年定義為車載HUD的產(chǎn)業(yè)化元年。在智能駕駛汽車的推動下，HUD有望在乘用車搭載方面更進(jìn)一步，成為系統(tǒng)標(biāo)配，產(chǎn)業(yè)將迎來爆發(fā)期。

根據(jù)QYResearch的《2022-2028中國車載HUD系統(tǒng)市場現(xiàn)狀研究分析與發(fā)展前景預(yù)測報告》市場調(diào)研報道，2022年全球車載HUD市場規(guī)模有望達(dá)到22億美元，滲透率達(dá)到9.5%；到2025年，車載HUD滲透率有望達(dá)到45%，2019年-2025年的年復(fù)合增長率高達(dá)71%。

從C-HUD到AR-HUD

HUD的英文全稱是Head Up Display，所以中文譯作抬頭顯示系統(tǒng)，最早應(yīng)用于軍用飛機(jī)上，幫助駕駛員減輕認(rèn)知負(fù)荷。發(fā)展至今，車載HUD已經(jīng)演化出三種形式，也完成了從C-HUD到AR-HUD的蛻變，另外一種是W-HUD。

C-HUD是指Combiner HUD，組合式抬頭顯示系統(tǒng)。C-HUD是將信息投放在儀表盤上方的樹脂板上，這是一個半透明的板子，能夠反射出投射信息的虛像。由于C-HUD需要樹脂板作為投放介質(zhì)，因此往往會以后裝的方式安裝，這就導(dǎo)致C-HUD存在一些“先天性”的弊病，比如投射范圍小，距離近，且容易引發(fā)車禍時的二次傷害。

W-HUD是指Windshield HUD，屬于C-HUD的升級版，不再需要樹脂板這樣的輔助器材，如其名稱所顯露的，W-HUD直接將信息投放在汽車前擋風(fēng)玻璃上。由于沒有介質(zhì)板的限制，W-HUD的投射范圍更大、更遠(yuǎn)。不過，由于汽車擋風(fēng)玻璃的形狀是弧形、斜向的，增加了光學(xué)信息的投射難度，產(chǎn)品光學(xué)結(jié)構(gòu)相對復(fù)雜，成本相對較高。

比W-HUD更進(jìn)一步的便是AR-HUD，全稱為Augmented Reality HUD。顧名思義，AR-HUD便是AR技術(shù)在汽車領(lǐng)域的一次成功的應(yīng)用嘗試。AR-HUD的投放介質(zhì)同樣是汽車擋風(fēng)玻璃，相較于W-HUD投放信息和道路實況是脫離的，AR-HUD通過數(shù)字微鏡原件生成圖像元素，經(jīng)過反射鏡投射出去的圖片具有層次感，分為近投影和遠(yuǎn)投影。其中近投影所包含的速度和油表信息與W-HUD差別不大，不過遠(yuǎn)投影能夠?qū)崿F(xiàn)虛擬圖像和現(xiàn)實路況的融合，增加駕駛員對道路信息的認(rèn)知，使得駕駛更方便安全。

根據(jù)德州儀器的介紹和演示，如果要實現(xiàn)AR-HUD，VID>7米，并且FOV>10°。在遠(yuǎn)投影方面，將融入跟車提醒、行人預(yù)警、車道偏離指引、變道指引等信息。

目前，在車載HUD市場上，W-HUD是市場主流，AR-HUD則是未來的趨勢，已經(jīng)進(jìn)入量產(chǎn)和推廣階段。不過，AR-HUD比W-HUD的光學(xué)系統(tǒng)更復(fù)雜，成本也就更高，因此最先搭載AR-HUD的車型大都價格不菲，以中高端車型為主。

產(chǎn)業(yè)上下游積極布局

無論是現(xiàn)階段的W-HUD，還是未來的AR-HUD，都受到了車廠的推崇，是汽車智能座艙重要的組成部分，也是汽車核心賣點之一。

從產(chǎn)業(yè)鏈分布來看，車載HUD的上游主要是原材料供應(yīng)廠商和軟件方案公司，中游是各大車載HUD品牌商，下游則是整車廠。車載HUD所用到的原材料除了擋風(fēng)玻璃和曲面鏡以外，最重要的還是顯示源，也就是光學(xué)系統(tǒng)。

車載HUD顯示源用到的主要芯片包括控制芯片、ISP芯片、DLP、LCD芯片、LCOS芯片等。供應(yīng)商包括德州儀器、京東方、愛普生、非寶電子、索尼等企業(yè)。目前，W-HUD用到的主要激光顯示技術(shù)包括四種：DLP、LCD、LCOS以及MEMS激光投影。

在DLP方面，和全球數(shù)字放映機(jī)市場類似，TI在車載DLP芯片方面具有絕對的領(lǐng)先優(yōu)勢。該公司自2015年發(fā)布首款應(yīng)用車載HUD的DLP芯片組之后，此后一直深耕于此，目前基于TI的DLP芯片組已經(jīng)能夠?qū)崿F(xiàn)AR-HUD方案。

LCD液晶投影技術(shù)具有圖像色彩飽和度好，層次豐富，色彩分離好等優(yōu)點，主要的核心技術(shù)掌握在索尼和愛普生手中，不過國內(nèi)的京東方、天馬、信利等也在布局這一塊；LCOS是硅基液晶技術(shù)，索尼同樣是重要的技術(shù)提供商，此外還有JVC和晶典等。

MEMS激光投影是將RGB三基色激光模組與微機(jī)電系統(tǒng)結(jié)合的投影顯示技術(shù)，優(yōu)點是高亮度、體積小、色域廣，不過成本也相對較高。相較于其他顯示方案的核心技術(shù)握在國際廠商手里，MEMS激光投影被認(rèn)為是自主品牌在車載HUD核心芯片突圍的好機(jī)會。目前，車規(guī)級MEMS激光投影芯片主要供應(yīng)商是Microvision、豐寶電子等。

在品牌方面，目前W-HUD的主要市場份額主要掌握在外資品牌手中，包括電裝、日本精機(jī)、偉世通、德國大陸等，這些公司占據(jù)著國內(nèi)外大部分的市場份額，并擁有成熟的前裝供應(yīng)鏈體系，也具備前裝優(yōu)勢。當(dāng)然，國內(nèi)的汽車零部件生產(chǎn)商澤景電子、華陽集團(tuán)、均勝電子等也在布局車載HUD。隨著AR-HUD進(jìn)入量產(chǎn)階段，目前華為、歐菲光等科技企業(yè)以及未來黑科技、點石創(chuàng)新等初創(chuàng)企業(yè)迎來市場機(jī)遇。

據(jù)統(tǒng)計，2021年以來AR-HUD密集上車，長城摩卡、吉利星越L、大眾ID系列、廣汽傳祺GS8、北汽魔方、飛凡R7等車型均選擇搭載了AR-HUD，在2021年上半年，AR-HUD在國內(nèi)的裝配量達(dá)到3.5萬輛，并且已經(jīng)在2021年8月份超過了C-HUD。

對于國產(chǎn)廠商而言，想要突圍目前來看還是任重道遠(yuǎn)。截止到2020年的統(tǒng)計數(shù)據(jù)顯示，國內(nèi)車載HUD市場的前三大廠商均為國際廠商，分別是精機(jī)、大陸集團(tuán)和電裝，市占比分別為33.3%、27%和20%。

寫在最后

目前，車載HUD正處在W-HUD向AR-HUD過渡的時代，國際Tier 1級汽車零部件供應(yīng)商的話語權(quán)在降低，國產(chǎn)品牌迎來了機(jī)會，在核心器件和品牌方面都已經(jīng)打入到市場中心區(qū)域。不過，汽車供應(yīng)鏈一直以來都較為穩(wěn)定，國產(chǎn)品牌想要更進(jìn)一步，還需在技術(shù)和產(chǎn)品性能上領(lǐng)先于人。

3. AI傳感器成為趨勢！功耗更低、效率更高

原文：

https://mp.weixin.qq.com/s/ElDo7m_fsbbp6rRUW99pYw

近日消息，劍橋初創(chuàng)公司InferSens表示，將其低功耗傳感器與復(fù)雜深度學(xué)習(xí)技術(shù)相結(jié)合，研究了用于智能建筑的低功耗邊緣AI傳感器。

InferSens使用具有本地AI模型和創(chuàng)新機(jī)械和系統(tǒng)工程的第三方處理器來為建筑環(huán)境創(chuàng)建智能傳感器。該公司傳感器技術(shù)的第一個版本計劃于2023年第一季度推出。這是一種低成本、電池供電的水流量和溫度傳感器，用于監(jiān)測和檢測水系統(tǒng)中的軍團(tuán)菌風(fēng)險。

意法半導(dǎo)體、索尼等傳統(tǒng)芯片廠商都推出AI傳感器

不久前，意法半導(dǎo)體也推出了內(nèi)置智能傳感器處理單元 (ISPU) 的慣性傳感器ISM330ISN。ISM330ISN內(nèi)置的智能技術(shù)賦能智能設(shè)備在傳感器中執(zhí)行高級運動檢測功能，而無需與外部微控制器 (MCU)交互，從而降低了系統(tǒng)級功耗。

意法半導(dǎo)體的方法是直接在傳感器芯片上集成為機(jī)器學(xué)習(xí)應(yīng)用優(yōu)化的專用處理器 ISPU。意法半導(dǎo)體的 ISPU基于數(shù)字信號處理 (DSP) 架構(gòu)，極其緊湊和節(jié)能，具有 40KB 的 RAM內(nèi)存。ISPU 執(zhí)行單精度浮點運算，是設(shè)計機(jī)器學(xué)習(xí)應(yīng)用和二元神經(jīng)網(wǎng)絡(luò)的理想選擇。

這個智能內(nèi)核占用的芯片面積非常小，因此，ISM330ISN模塊的封裝面積比典型的在封裝內(nèi)整合MCU的傳感器解決方案小50%，功耗低 50%。

意法半導(dǎo)體模擬 MEMS 和傳感器產(chǎn)品部營銷總經(jīng)理 Simone Ferri 表示，智能從前是部署在網(wǎng)絡(luò)邊緣的應(yīng)用處理器上，而現(xiàn)在正在轉(zhuǎn)向深度邊緣的傳感器內(nèi)部。ISM330ISN IMU 預(yù)示著新一類智能傳感器的來臨，即開始利用嵌入式 AI 處理復(fù)雜任務(wù)，比如模式識別和異常檢測，可以大大提高系統(tǒng)能效和性能。

其實早在2020年，索尼就宣布推出了兩款A(yù)I圖像傳感器——IMX500和IMX501。AI圖像傳感器兼具運算能力和內(nèi)存，能夠在沒有額外硬件輔助的情況下執(zhí)行機(jī)器學(xué)習(xí)驅(qū)動的計算機(jī)視覺任務(wù)，可以使很多依賴機(jī)器學(xué)習(xí)算法的圖像處理技術(shù)能夠在本地運行，更簡單、高效、安全。

索尼推出的AI圖像傳感器，首批目標(biāo)是零售商和工業(yè)客戶。索尼業(yè)務(wù)與創(chuàng)新副總裁馬克·漢森認(rèn)為，相比將數(shù)據(jù)發(fā)送到云端的解決方案，AI圖像傳感器的應(yīng)用潛力巨大，成本效益更高，尤其是在邊緣計算領(lǐng)域。

商湯、曠視等新興AI技術(shù)公司也在探索AI傳感器

除了傳統(tǒng)的傳感器廠商之外，商湯、曠視等AI公司也在探索AI傳感器。今年7月，商湯智能產(chǎn)業(yè)研究院發(fā)布《AI傳感器：智能手機(jī)影像新核心》白皮書。該白皮書提到，在智能手機(jī)市場緩慢步入瓶頸期的趨勢下，影像功能成為產(chǎn)業(yè)破局焦點，而AI軟件與CMOS圖像傳感器硬件的融合，將是智能手機(jī)影像能力持續(xù)提升的破題之道。

過去幾年，AI算法讓手機(jī)的影像能力得到了不小的提升。但在這種方案中，圖像傳感和AI算法的運行，在不同的硬件上完成，圖像傳感器提供圖像信號，處理器或者AI加速芯片執(zhí)行AI算法。這會造成能耗資源的浪費，并且難以處理一些需要及時響應(yīng)的場景。

白皮書指出，融入了AI技術(shù)的CMOS圖像傳感器，可以最大化地發(fā)揮原始光信號的價值。

在設(shè)備獲取視覺信號的伊始，AI傳感器就可以進(jìn)行優(yōu)化和處理，增強(qiáng)真實世界感知、提高圖像和視頻的質(zhì)量、豐富內(nèi)容細(xì)節(jié)，同時最大限度地降低了設(shè)備功耗，并增強(qiáng)了數(shù)據(jù)安全性。

據(jù)介紹，早在2019年，商湯就與全球領(lǐng)先的圖像傳感器廠商開展緊密合作，將AI算法和傳感器硬件直接融合。目前，商湯AI傳感器已完成多款產(chǎn)品，并成功落地多款高端旗艦手機(jī)。

商湯認(rèn)為，面向未來，AI傳感器的價值不僅在于提升智能手機(jī)的影像能力，它更將成為機(jī)器認(rèn)知世界的基礎(chǔ)設(shè)施，為更多物聯(lián)網(wǎng)終端賦予智能感知與內(nèi)容增強(qiáng)的能力。比如，在智能汽車領(lǐng)域，AI傳感器將成為車輛感知世界的核心部件；在智慧城市領(lǐng)域，AI傳感器更將為挖掘視頻信息的價值發(fā)揮重要作用。

曠視研究員范浩強(qiáng)今年7月也在某個論壇上談到，隨著AI、視覺算法等領(lǐng)域的發(fā)展，傳感器將不再單獨的、直接地提供應(yīng)用價值，傳感器和應(yīng)用之間需要算法來作為承上啟下的橋梁。從技術(shù)角度講，這兩者最顯著的結(jié)合點就是計算攝影。

曠視也已經(jīng)深度參與手機(jī)影像的能力提升中，目前曠視的4K級別的硬件方案已經(jīng)實現(xiàn)了量產(chǎn)，并積極推動8K AI畫質(zhì)硬件方案的研發(fā)與產(chǎn)品化。

小結(jié)

從傳統(tǒng)芯片廠商及AI公司的表現(xiàn)來看，AI傳感器似乎成為一種新的趨勢。在傳感器內(nèi)部增加智能的部分，有諸多好處，之前傳感器和AI算法的運行實在不同的硬件上完成，耗費資源，而增加了智能的AI傳感器，可以使得整個系統(tǒng)更簡單、更高效、更安全。

4. 掀起一股中國風(fēng)，最強(qiáng)中文AI作畫大模型文心ERNIE-ViLG 2.0來了

原文：

https://mp.weixin.qq.com/s/x3dnkBF7BKDMEU_rt8QmDg

據(jù)了解，ERNIE-ViLG 2.0 在文本生成圖像公開權(quán)威評測集 MS-COCO 和人工盲評上均超越了 Stable Diffusion、DALL-E 2 等模型，取得了當(dāng)前該領(lǐng)域的世界最好效果，在語義可控性、圖像清晰度、中國文化理解等方面均展現(xiàn)出了顯著優(yōu)勢。

論文鏈接：

https://arxiv.org/pdf/2210.15257.pdf

體驗鏈接：

https://wenxin.baidu.com/ernie-vilg

AIGC (AI-Generated Content) 是繼 UGC、PGC 之后，利用 AI 技術(shù)自動生成內(nèi)容的新型生產(chǎn)方式。AI 作畫作為 AIGC 重要方向之一，蘊(yùn)含了極大的產(chǎn)業(yè)應(yīng)用價值。相比于人類創(chuàng)作者，AI 作畫展現(xiàn)出了創(chuàng)作成本低、速度快且易于批量化生產(chǎn)的巨大優(yōu)勢。

近一年來，該領(lǐng)域迅猛發(fā)展，國際科技巨頭和初創(chuàng)企業(yè)爭相涌入，國內(nèi)也出現(xiàn)了眾多 AI 作畫產(chǎn)品，這些產(chǎn)品背后主要使用基于擴(kuò)散生成算法的 DALL-E 2 和 Stable Diffusion 等國外模型。目前，這類基礎(chǔ)模型在國內(nèi)尚處空白，ERNIE-ViLG 2.0 是國內(nèi)首個在該方向取得突破的工作。

當(dāng)前 AI 作畫技術(shù)在圖像細(xì)節(jié)紋理的流暢度、清晰度、語義的可控性等方面還存在諸多問題?；诖?，百度提出了基于知識增強(qiáng)的混合降噪專家（Mixture-of-Denoising-Experts，MoDE）建模的跨模態(tài)大模型 ERNIE-ViLG 2.0，在訓(xùn)練過程中，通過引入視覺知識和語言知識，提升模型跨模態(tài)語義理解能力與可控生成能力；在擴(kuò)散降噪過程中，通過混合專家網(wǎng)絡(luò)建模，增強(qiáng)模型建模能力，提升圖像的生成質(zhì)量。

我們先來欣賞下 ERNIE-ViLG 2.0 根據(jù)文本描述生成圖像的一些示例：

ERNIE-ViLG 2.0 可應(yīng)用于工業(yè)設(shè)計、動漫設(shè)計、游戲制作、攝影藝術(shù)等場景，激發(fā)設(shè)計者創(chuàng)作靈感，提升內(nèi)容生產(chǎn)的效率。通過簡單的描述，模型便可以在短短幾十秒內(nèi)生成設(shè)計圖，極大地提升了設(shè)計效率、降低商業(yè)出圖的門檻。

5. DeepMind新作：無需權(quán)重更新、提示和微調(diào)，transformer在試錯中自主改進(jìn)

原文：

https://mp.weixin.qq.com/s/zKQIlXJ1jRKCyGQn_dqjDw

論文地址：

https://arxiv.org/pdf/2210.14215.pdf

目前，Transformers 已經(jīng)成為序列建模的強(qiáng)大神經(jīng)網(wǎng)絡(luò)架構(gòu)。預(yù)訓(xùn)練 transformer 的一個顯著特性是它們有能力通過提示 conditioning 或上下文學(xué)習(xí)來適應(yīng)下游任務(wù)。經(jīng)過大型離線數(shù)據(jù)集上的預(yù)訓(xùn)練之后，大規(guī)模 transformers 已被證明可以高效地泛化到文本補(bǔ)全、語言理解和圖像生成方面的下游任務(wù)。

最近的工作表明，transformers 還可以通過將離線強(qiáng)化學(xué)習(xí)（RL）視作順序預(yù)測問題，進(jìn)而從離線數(shù)據(jù)中學(xué)習(xí)策略。Chen et al. (2021)的工作表明，transformers 可以通過模仿學(xué)習(xí)從離線 RL 數(shù)據(jù)中學(xué)習(xí)單任務(wù)策略，隨后的工作表明 transformers 可以在同領(lǐng)域和跨領(lǐng)域設(shè)置中提取多任務(wù)策略。這些工作都展示了提取通用多任務(wù)策略的范式，即首先收集大規(guī)模和多樣化的環(huán)境交互數(shù)據(jù)集，然后通過順序建模從數(shù)據(jù)中提取策略。這類通過模仿學(xué)習(xí)從離線 RL 數(shù)據(jù)中學(xué)習(xí)策略的方法被稱為離線策略蒸餾（Offline Policy Distillation）或策略蒸餾（Policy Distillation, PD）。

PD 具有簡單性和可擴(kuò)展性，但它的一大缺點是生成的策略不會在與環(huán)境的額外交互中逐步改進(jìn)。舉例而言，谷歌的通才智能體 Multi-Game Decision Transformers 學(xué)習(xí)了一個可以玩很多 Atari 游戲的返回條件式（return-conditioned）策略，而 DeepMind 的通才智能體 Gato 通過上下文任務(wù)推理來學(xué)習(xí)一個解決多樣化環(huán)境中任務(wù)的策略。遺憾的是，這兩個智能體都不能通過試錯來提升上下文中的策略。因此 PD 方法學(xué)習(xí)的是策略而不是強(qiáng)化學(xué)習(xí)算法。

在近日 DeepMind 的一篇論文中，研究者假設(shè) PD 沒能通過試錯得到改進(jìn)的原因是它訓(xùn)練用的數(shù)據(jù)無法顯示學(xué)習(xí)進(jìn)度。當(dāng)前方法要么從不含學(xué)習(xí)的數(shù)據(jù)中學(xué)習(xí)策略（例如通過蒸餾固定專家策略），要么從包含學(xué)習(xí)的數(shù)據(jù)中學(xué)習(xí)策略（例如 RL 智能體的重放緩沖區(qū)），但后者的上下文大?。ㄌ。o法捕獲策略改進(jìn)。

研究者的主要觀察結(jié)果是，RL 算法訓(xùn)練中學(xué)習(xí)的順序性在原則上可以將強(qiáng)化學(xué)習(xí)本身建模為一個因果序列預(yù)測問題。具體地，如果一個 transformer 的上下文足夠長，包含了由學(xué)習(xí)更新帶來的策略改進(jìn)，那么它不僅應(yīng)該可以表示一個固定策略，而且能夠通過關(guān)注之前 episodes 的狀態(tài)、動作和獎勵來表示一個策略改進(jìn)算子。這樣開啟了一種可能性，即任何 RL 算法都可以通過模仿學(xué)習(xí)蒸餾成足夠強(qiáng)大的序列模型如 transformer，并將這些模型轉(zhuǎn)換為上下文 RL 算法。

研究者提出了算法蒸餾（Algorithm Distillation, AD），這是一種通過優(yōu)化 RL 算法學(xué)習(xí)歷史中因果序列預(yù)測損失來學(xué)習(xí)上下文策略改進(jìn)算子的方法。如下圖 1 所示，AD 由兩部分組成。首先通過保存 RL 算法在大量單獨任務(wù)上的訓(xùn)練歷史來生成大型多任務(wù)數(shù)據(jù)集，然后 transformer 模型通過將前面的學(xué)習(xí)歷史用作其上下文來對動作進(jìn)行因果建模。由于策略在源 RL 算法的訓(xùn)練過程中持續(xù)改進(jìn)，因此 AD 不得不學(xué)習(xí)改進(jìn)算子以便準(zhǔn)確地建模訓(xùn)練歷史中任何給定點的動作。至關(guān)重要的一點是，transformer 上下文必須足夠大（即 across-episodic）才能捕獲訓(xùn)練數(shù)據(jù)的改進(jìn)。

研究者表示，通過使用足夠大上下文的因果 transformer 來模仿基于梯度的 RL 算法，AD 完全可以在上下文中強(qiáng)化新任務(wù)學(xué)習(xí)。研究者在很多需要探索的部分可觀察環(huán)境中評估了 AD，包括來自 DMLab 的基于像素的 Watermaze，結(jié)果表明 AD 能夠進(jìn)行上下文探索、時序信度分配和泛化。此外，AD 學(xué)習(xí)到的算法比生成 transformer 訓(xùn)練源數(shù)據(jù)的算法更加高效。

6. AI繪畫逆著玩火了，敢不敢發(fā)自拍看AI如何用文字形容你？

原文：

https://mp.weixin.qq.com/s/TlzktHflCHHmuXDRy4uPgg

笑不活了家人們，最近突然流行起一個新玩法：給AI發(fā)自拍，看AI如何描述你。

比如這位勇敢曬出自拍的紐約大學(xué)助理教授，他的笑容在AI看來居然是“獸人式微笑”。

AI還吐槽他胡子沒有打理，但他表示拍照那天胡子要比平常整齊多了。

在評論區(qū)里還有一位也被評價為獸人微笑的網(wǎng)友現(xiàn)身。兩位“部落勇士”就這樣賽博認(rèn)了個親。

上面這個玩法，相當(dāng)于把最近火爆的AI繪畫逆過來玩，輸入圖片輸出文字描述。

負(fù)責(zé)文字描述的正是大名鼎鼎的CLIP，也就是DALL·E、Stable Diffusion等AI繪畫模型中負(fù)責(zé)理解語言的那部分。

目前這個CLIP Interrogator（CLIP審問官），在HuggingFace上已有現(xiàn)成的Demo可玩。

7. 《YOLOv5全面解析教程》一，網(wǎng)絡(luò)結(jié)構(gòu)逐行代碼解析

原文：

https://mp.weixin.qq.com/s/qR2ODIMidsNR_Eznxry5pg

YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)解析

引言

YOLOv5針對不同大小（n, s, m, l, x）的網(wǎng)絡(luò)整體架構(gòu)都是一樣的，只不過會在每個子模塊中采用不同的深度和寬度，

分別應(yīng)對yaml文件中的depth_multiple和width_multiple參數(shù)。

還需要注意一點，官方除了n, s, m, l, x版本外還有n6, s6, m6, l6, x6，區(qū)別在于后者是針對更大分辨率的圖片比如1280x1280,

當(dāng)然結(jié)構(gòu)上也有些差異，前者只會下采樣到32倍且采用3個預(yù)測特征層 , 而后者會下采樣64倍，采用4個預(yù)測特征層。

本章將以 yolov5s為例 ，從配置文件 models/yolov5s.yaml(https://github.com/Oneflow-Inc/one-yolov5/blob/main/models/yolov5s.yaml) 到 models/yolo.py(https://github.com/Oneflow-Inc/one-yolov5/blob/main/models/yolo.py) 源碼進(jìn)行解讀。

yolov5s.yaml文件內(nèi)容:

 1nc:80#numberofclasses數(shù)據(jù)集中的類別數(shù)
 2depth_multiple:0.33#modeldepthmultiple模型層數(shù)因子(用來調(diào)整網(wǎng)絡(luò)的深度)
 3width_multiple:0.50#layerchannelmultiple模型通道數(shù)因子(用來調(diào)整網(wǎng)絡(luò)的寬度)
 4#如何理解這個depth_multiple和width_multiple呢?它決定的是整個模型中的深度（層數(shù)）和寬度（通道數(shù)）,具體怎么調(diào)整的結(jié)合后面的backbone代碼解釋。
 5
 6anchors:#表示作用于當(dāng)前特征圖的Anchor大小為xxx
 7#9個anchor，其中P表示特征圖的層級，P3/8該層特征圖縮放為1/8,是第3層特征
 8-[10,13,16,30,33,23]#P3/8，表示[10,13],[16,30],[33,23]3個anchor
 9-[30,61,62,45,59,119]#P4/16
10-[116,90,156,198,373,326]#P5/32
11
12
13#YOLOv5sv6.0backbone
14backbone:
15#[from,number,module,args]
16[[-1,1,Conv,[64,6,2,2]],#0-P1/2
17[-1,1,Conv,[128,3,2]],#1-P2/4
18[-1,3,C3,[128]],
19[-1,1,Conv,[256,3,2]],#3-P3/8
20[-1,6,C3,[256]],
21[-1,1,Conv,[512,3,2]],#5-P4/16
22[-1,9,C3,[512]],
23[-1,1,Conv,[1024,3,2]],#7-P5/32
24[-1,3,C3,[1024]],
25[-1,1,SPPF,[1024,5]],#9
26]
27
28#YOLOv5sv6.0head
29head:
30[[-1,1,Conv,[512,1,1]],
31[-1,1,nn.Upsample,[None,2,'nearest']],
32[[-1,6],1,Concat,[1]],#catbackboneP4
33[-1,3,C3,[512,False]],#13
34
35[-1,1,Conv,[256,1,1]],
36[-1,1,nn.Upsample,[None,2,'nearest']],
37[[-1,4],1,Concat,[1]],#catbackboneP3
38[-1,3,C3,[256,False]],#17(P3/8-small)
39
40[-1,1,Conv,[256,3,2]],
41[[-1,14],1,Concat,[1]],#catheadP4
42[-1,3,C3,[512,False]],#20(P4/16-medium)
43
44[-1,1,Conv,[512,3,2]],
45[[-1,10],1,Concat,[1]],#catheadP5
46[-1,3,C3,[1024,False]],#23(P5/32-large)
47
48[[17,20,23],1,Detect,[nc,anchors]],#Detect(P3,P4,P5)
49]

anchors 解讀

yolov5 初始化了 9 個 anchors，分別在三個特征圖 （feature map）中使用，每個 feature map 的每個 grid cell 都有三個 anchor 進(jìn)行預(yù)測。分配規(guī)則：

• 尺度越大的 feature map 越靠前，相對原圖的下采樣率越小，感受野越小， 所以相對可以預(yù)測一些尺度比較小的物體(小目標(biāo))，分配到的 anchors 越小。

• 尺度越小的 feature map 越靠后，相對原圖的下采樣率越大，感受野越大， 所以可以預(yù)測一些尺度比較大的物體(大目標(biāo))，所以分配到的 anchors 越大。

• 即在小特征圖（feature map）上檢測大目標(biāo)，中等大小的特征圖上檢測中等目標(biāo)， 在大特征圖上檢測小目標(biāo)。

backbone & head解讀

[from, number, module, args] 參數(shù)

四個參數(shù)的意義分別是：

1、第一個參數(shù) from ：從哪一層獲得輸入，-1表示從上一層獲得，[-1, 6]表示從上層和第6層兩層獲得。

2、第二個參數(shù) number：表示有幾個相同的模塊，如果為9則表示有9個相同的模塊。

3、第三個參數(shù) module：模塊的名稱，這些模塊寫在common.py中。

4、第四個參數(shù) args：類的初始化參數(shù)，用于解析作為 moudle 的傳入?yún)?shù)。

下面以第一個模塊Conv 為例介紹下common.py中的模塊

更多的內(nèi)容請點擊原文查看.

8. LeCun轉(zhuǎn)推，PyTorch GPU內(nèi)存分配有了火焰圖可視化工具

原文：

https://mp.weixin.qq.com/s/_ChQM04s0900BDWhSBtwvg

近日，PyTorch 核心開發(fā)者和 FAIR 研究者 Zachary DeVito 創(chuàng)建了一個新工具（添加實驗性 API），通過生成和可視化內(nèi)存快照（memory snapshot）來可視化 GPU 內(nèi)存的分配狀態(tài)。這些內(nèi)存快照記錄了內(nèi)存分配的堆棧跟蹤以及內(nèi)存在緩存分配器狀態(tài)中的位置。

接下來，通過將這些內(nèi)存快照可視化為火焰圖（flamegraphs），內(nèi)存的使用位置也就能一目了然地看到了。

圖靈獎得主 Yann Lecun 也轉(zhuǎn)推了這個工具。

下面我們來看這個工具的實現(xiàn)原理（以第一人稱「我們」描述）。

可視化快照

_memory_viz.py 工具也可以生成內(nèi)存的可視化火焰圖。

可視化圖將分配器中所有的字節(jié)（byte）按不同的類來分割成段，如下圖所示（原文為可交互視圖）。

火焰圖可視化是一種將資源（如內(nèi)存）使用劃分為不同類的方法，然后可以進(jìn)一步細(xì)分為更細(xì)粒度的類別。

memory 視圖很好地展現(xiàn)了內(nèi)存的使用方式。但對于具體地調(diào)試分配器問題，首先將內(nèi)存分類為不同的 Segment 對象是有用的，而這些對象是分配軌跡的單個 cudaMalloc 段。

更多的使用方法，請參考原文！

END