一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

基于NVIDIA Jetson平臺的高效人形機器人控制解決方案

NVIDIA英偉達企業(yè)解決方案 ? 來源:NVIDIA英偉達企業(yè)解決方案 ? 2024-09-10 10:25 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

案例簡介

國訊芯微(NIIC)專注于自主實時操作系統(tǒng)和 EtherCAT 協(xié)議棧的研發(fā)與應用十余年,匯聚了一批業(yè)內(nèi)頂尖的工程師和科研人員,始終致力于為智能制造輸出自主可控核心技術產(chǎn)品。

國訊芯微的具身智能控制平臺 NSPIC-R006NP 具備強大的 GPUCPU 計算能力,內(nèi)置 NECRO 硬實時操作系統(tǒng),適配 Ubuntubase 系統(tǒng),并通過 EtherCAT 多主站 NIIC EtherCAT Master 2.0 將控制邏輯與機器人或系統(tǒng)的物理特性緊密結合,能夠實時處理復雜的機器人控制任務。該平臺支持多種設備的接口,具有豐富的軟件開發(fā)工具和生態(tài)資源,便于開發(fā)者進行定制化開發(fā)和優(yōu)化。

本案例主要應用到 NVIDIAAGX Orin 64GB。

X86+AI 芯片控制平臺

在具身智能中的挑戰(zhàn)

傳統(tǒng)異構方案

目前絕大多數(shù)人形機器人企業(yè)都在采用傳統(tǒng) X86+AI 芯片的具身智能控制平臺。然而,這其中存在顯著的缺點和痛點。網(wǎng)絡延遲問題會導致機器人實時響應能力受限,影響手眼協(xié)調(diào)等復雜任務執(zhí)行。其次,RT-Linux 系統(tǒng)的不穩(wěn)定性和 EtherCAT 協(xié)議棧的潛在問題會使得多程序運行時抖動大,運動控制不穩(wěn)定,從而增加了運行風險。再者,X86 與 AI 芯片間的協(xié)同工作十分復雜,系統(tǒng)整合難度大,性能下降和延時增加,難以滿足全身多關節(jié)高性能控制需求。這些痛點限制了機器人在復雜環(huán)境中的應用,尤其是在實時可靠性和端到端升級方面。因此,保持系統(tǒng)同構性,實現(xiàn)無縫銜接和高效協(xié)作成為人形機器人企業(yè)的迫切需求。

NIIC 新型單一 SOC 平臺

國訊芯微是目前全球極少數(shù)能夠在 AI SOC 平臺上植入高性能實時操作系統(tǒng)和運動控制平臺的企業(yè),NSPIC-R006NP 具身智能控制平臺在解決傳統(tǒng) X86+AI 芯片控制平臺問題方面取得了顯著的進步,通過將感知、識別和決策過程融合在一個一體化的系統(tǒng)中,并利用 NECRO 實時操作系統(tǒng)的多進程和多線程功能,成功實現(xiàn)了 nS 級別的交互速度,相較于傳統(tǒng) X86+AI 芯片控制器的 mS 級別交互速度,這無疑是一個巨大的提升。

wKgaombfrjOAPju4AABslSrXPjQ471.png

NVIDIA 與國訊芯微攜手共創(chuàng)

高效人形機器人控制解決方案

新型平臺架構

多模態(tài)感知的使用使得機器人能夠獲取更加豐富和準確的環(huán)境信息,而基于 GPU(大腦智能決策)的識別過程則能夠迅速對這些信息進行處理和分析。CPU(小腦)負責運動控制,能夠根據(jù)識別結果迅速做出反應,再利用 NECRO 實時操作系統(tǒng)的多進程和多線程功能,最后成功實現(xiàn)納秒級別的交互速度。這種一體化的設計不僅提高了系統(tǒng)的實時性和響應速度,還有助于減少數(shù)據(jù)傳輸延遲和網(wǎng)絡穩(wěn)定性問題。由于所有過程都在一個系統(tǒng)中完成,有效降低了整合性的挑戰(zhàn),使得整個系統(tǒng)更加穩(wěn)定和可靠。

wKgZombfrj-AOm_dAAP7_Aj5EW4382.png

強大的 AI 計算能力

NSPIC-R006NP 具身智能控制平臺基于 NVIDIA AGX Orin 64GB SOC,高達 275 TOPS 的 AI 算力,能夠實現(xiàn) 13B-70B 的大模型推演。

為了進一步提升 AI 性能,NSPIC-R006NP 特別利用了 NVIDIA CUDA 和先進的 AI 大模型技術,能夠在短時間內(nèi)完成大量高性能、高精度的目標識別、圖像處理和分析任務,極大地提升了人形機器控制器的感知和決策能力。

核心軟件:

實時操作系統(tǒng) NECRO

人形機器人所有的數(shù)據(jù)采集、數(shù)據(jù)訓練必須高速同步,如果采集到的視覺是 1 秒之前的數(shù)據(jù),而雷達卻是 5 秒之后的數(shù)據(jù),那么大模型的訓練就失去了意義。而實時操作系統(tǒng)所帶來的價值,就是保證大模型的訓練建立在相同的時間基礎上,所有的多模態(tài)感知采集和計算都是時間精準的,能夠向訓練服務器推送相同時間軸的同步數(shù)據(jù),這樣才能完成 transformer,才能真正實現(xiàn)端到端。

國訊芯微 100% 自主研發(fā)的 NECRO 囚牛實時操作系統(tǒng)作為管理整個信號傳遞的核心組件,微秒級操作系統(tǒng)抖動、納秒級中斷響應速度,這樣強力的性能能夠確保信號在系統(tǒng)中的高效、準確傳遞,為機器人的實時感知、決策和執(zhí)行提供堅實基礎。Cyclictest 最大值不超過 2uS,在滿載、滿 CPU、滿內(nèi)存、滿 IO、滿存儲、滿內(nèi)存壓力之下,最大值不超過 10uS,從而實現(xiàn)最佳的整體性能。

wKgZombfrkuAG623AAE37pXJznU832.png

EC 抖動 4uS 以內(nèi)

在開發(fā)過程中,國訊芯微嚴格遵循 AGX 芯片手冊和全寄存器手冊的規(guī)范,確保系統(tǒng)的穩(wěn)定性和兼容性,成功地將 NECRO 囚牛內(nèi)核移植到 Orin 系列上,并為其量身打造了相應的板級支持包(BSP)。

核心軟件:EtherCAT 多主站同步

在具身智能控制中,ETherCAT 通信確保了機器人能夠快速、準確地執(zhí)行決策,實現(xiàn)全身關節(jié)的協(xié)同運動。

國訊芯微自主知識產(chǎn)權 EtherCAT 多主站 NIIC EtherCAT Master 2.0 正是如此,可以有效減少數(shù)據(jù)傳輸?shù)难舆t和抖動。NIIC EtherCAT Master 2.0 能夠確保每個主站獨立工作,最小控制周期都為 125uS,多主站之間可以實現(xiàn) nS 級數(shù)據(jù)同步??蓪㈦p手、雙腿、頭與軀干等所有的傳感器分配到不同的主站中,以 125uS 的 2 次方倍數(shù)控制周期同相位高速協(xié)同。

wKgaombfrk-ATa3UAAD3Nd-jOGU642.png

多模態(tài)生態(tài)

國訊芯微打通了多模態(tài)生態(tài)中的各個環(huán)節(jié),在這個生態(tài)中,國訊芯微以 AGX 作為核心控制,不僅整合了尖端的硬件組件,如關節(jié)、靈巧手、全 GMSL 視覺系統(tǒng),還配備了雷達、環(huán)形六麥聽覺傳感器、電子皮膚、觸摸傳感器以及唇語識別攝像頭等,為機器人提供了全方位的感知和交互能力。可打包支持提供給人形機器人企業(yè),無需再進行軟件 SDK 適配、多方采購等繁瑣的適配工作。

NSPIC-R006NP 通過實時同步采集的高質量數(shù)據(jù)集,然后利用視覺-語言模型 VLM 進行數(shù)據(jù)處理或分析,并將該模型或其輸出結果加載到 AGX 的 GPU 上,以實現(xiàn)快速推理或計算。同時,NSPIC-R006NP還提供 Isaac Sim 仿真平臺上的 NSPIC-R006NP 控制器仿真模型,幫助客戶在復雜環(huán)境中測試和優(yōu)化算法,加速機器人和 AI 系統(tǒng)的開發(fā)。

關于端到端的加速,國訊芯微認為高質量數(shù)據(jù)集的實時并發(fā)采集,能夠有機會在更少的真實物理世界參數(shù)模型下加速完成大模型的訓練,并減少推理模型的容量,而且人形機器人并非是個全才,也和人類一樣有分工,未來的具身不會是一個通用就能解決一切問題,而是各類應用集的 7B/8B 模型的集群,根據(jù)不同場景切換,因此如果可以將特定場景的 7B/8B 模型在 AGX 內(nèi)以 30-40 Tokens/S 來推理,是有可能直接推理出全身動力學和軌跡規(guī)劃的,也就是 MBC 將是通過 transformer 架構由 GPU 推出來的最優(yōu)解,同時結合 CPU 已經(jīng)成熟積累的 WPC 算法,實現(xiàn)更好的行為預測和執(zhí)行。國訊芯微的目標是如何在現(xiàn)有軟硬件架構下把硬件利用率發(fā)揮到極致。同時,成本也是人形機器人能否快速進入市場的核心要素。

NVIDIA 推動國訊芯微

人形機器人控制器技術升級

“做最好的控制器架構,讓算法和工藝有最肥沃的土壤,服務于大家是我們的核心理念?!眹嵭疚⒙?lián)合創(chuàng)始人兼 CTO 蔣琛表示。

NVIDIA AGX Orin 64GB 提供了豐富的開發(fā)工具和資源,為 NSPIC-R006NP 提供了領先的 AI 計算能力和運動控制能力,使得開發(fā)者能夠更快速、更高效地開發(fā)出高性能的人形機器人產(chǎn)品,有助于企業(yè)縮短研發(fā)周期,降低研發(fā)成本,幫助國訊芯微控制器在市場上獲得更強的競爭力,保證實現(xiàn)人形機器人控制最優(yōu)方案。

人形機器人作為下一個 AI 浪潮,未來產(chǎn)業(yè)化落地將創(chuàng)造大量的控制器需求;控制器相比執(zhí)行器更為“無形”,但對機器人本體的表現(xiàn)起到至關重要的作用,且長期的發(fā)展迭代可能成為拉開距離的關鍵點,是各家公司的核心技術。

國訊芯微(NIIC)在國產(chǎn)實時操作系統(tǒng)和軟 PLC 運動控制行業(yè)扎根十多年,始終致力于為智能制造輸出自主化可控核心技術產(chǎn)品。

公司研發(fā)自主化 NOM 系列產(chǎn)品,并結合自主研發(fā)的工業(yè)實時操作系統(tǒng) NECRO 和 NECRO SUPER STUDIO 軟 PLC IDE 構成了一套完整的控制系統(tǒng)平臺產(chǎn)品,為智能制造領域提供實時操作系統(tǒng) SDK、IDE 工具鏈和完整的自動化、運動控制解決方案。

國訊芯微于 2023 年研發(fā)了全國首款具身智能控制平臺 NSPIC-R006NP,實現(xiàn)大小腦端到端協(xié)同控制,先后榮獲“Leaderobot 2024 年度人形機器人核心驅動獎”、“2024 年人形機器人供應鏈優(yōu)質企業(yè)”。

*本文中圖片來源于國訊芯微,若您有任何疑問或需要使用本文中圖片,請聯(lián)系國訊芯微。

NVIDIA 初創(chuàng)加速計劃

國訊芯微(NIIC)是 NVIDIA 初創(chuàng)加速計劃 (NVIDIA Inception) 會員企業(yè)。 NVIDIA 初創(chuàng)加速計劃為免費會員制,旨在培養(yǎng)顛覆行業(yè)格局的優(yōu)秀創(chuàng)業(yè)公司。該計劃聯(lián)合國內(nèi)外知名的風投機構、創(chuàng)業(yè)孵化器、創(chuàng)業(yè)加速器、行業(yè)合作伙伴以及科技創(chuàng)業(yè)媒體等,打造創(chuàng)業(yè)加速生態(tài)系統(tǒng)。能夠提供產(chǎn)品折扣、技術支持、市場宣傳、融資對接、業(yè)務推薦等一系列服務,加速創(chuàng)業(yè)公司的發(fā)展。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 機器人
    +關注

    關注

    213

    文章

    29723

    瀏覽量

    212788
  • NVIDIA
    +關注

    關注

    14

    文章

    5308

    瀏覽量

    106339
  • 操作系統(tǒng)

    關注

    37

    文章

    7143

    瀏覽量

    125552

原文標題:初創(chuàng)加速計劃 | 基于 NVIDIA Jetson 平臺,國訊芯微實現(xiàn)大小腦端到端協(xié)同控制

文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業(yè)解決方案】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    NVIDIA 加速人形機器人發(fā)展

    —SIGGRAPH— 當?shù)貢r間 2024 年 7 月 29 日— 為加速全球人形機器人的發(fā)展,NVIDIA 于今日宣布,為全球領先的機器人制造商、AI 模型開發(fā)者和軟件制造商提供一套
    發(fā)表于 07-30 09:15 ?953次閱讀
    <b class='flag-5'>NVIDIA</b> 加速<b class='flag-5'>人形</b><b class='flag-5'>機器人</b>發(fā)展

    NVIDIA發(fā)布人形機器人重磅更新!Isaac GR00T Blueprint厲害在哪?

    電子發(fā)燒友網(wǎng)報道(文/吳子鵬)在備受矚目的CES 2025上,NVIDIA機器人領域宣布了重磅更新——Isaac GR00T Blueprint,幫助開發(fā)者更高效、高質量地打造人形
    的頭像 發(fā)表于 01-08 18:14 ?4329次閱讀
    <b class='flag-5'>NVIDIA</b>發(fā)布<b class='flag-5'>人形</b><b class='flag-5'>機器人</b>重磅更新!Isaac GR00T Blueprint厲害在哪?

    伺服電動缸在人形機器人中的應用

    將伺服電機自身優(yōu)勢轉變成精確速度控制、精確位置控制和精確推力控制,從而實現(xiàn)高精度直線運動。這種特性使其成為人形機器人的核心運動部件,特別是在
    發(fā)表于 02-06 09:04

    盤點#機器人開發(fā)平臺

    圖,電子技術資料網(wǎng)站具身智能機器人****開發(fā)平臺——Fibot廣和通發(fā)布機器人開發(fā)平臺-電子發(fā)燒友網(wǎng)NVIDIA Isaac 英偉達綜合性
    發(fā)表于 05-13 15:02

    為什么人形機器人更討人喜歡?

    、生活習慣等兼容,可以更多地利用為人專門設計的方方面面,因而在人類世界中更得心應手。谷歌CEO桑達爾·皮查伊 人形機器人集機、電、材料、計算機、傳感器、控制技術等多門學科與技術于一體,由電力驅動,通過
    發(fā)表于 05-12 09:55

    RIO嵌入式控制平臺怎么助力機器人應用?

    自動或半自動機器人常常需要嵌入式控制系統(tǒng),從而能夠結合高度智能化的確定性控制,并且可以方便地連接到不同的傳感器和執(zhí)行器上。NI提供了多種嵌入式硬件平臺,以滿足復雜系統(tǒng)的需求。從尖端的
    發(fā)表于 11-06 07:50

    NVIDIA Jetson的相關資料分享

    Jetson概述爆炸式增長的AI模型的復雜性專為自主機器開發(fā)人員設計的AI計算板加快AI處理的SDK“JetPack”概述NVIDIA Jetson
    發(fā)表于 11-09 08:26

    NVIDIA Jetson介紹

    。 NVIDIA Jetson有哪些產(chǎn)品成員、軟件堆棧以及面向行業(yè)的解決方案?本課程將系統(tǒng)介紹Jetson的硬件平臺、軟件資源、生態(tài)以及應用
    發(fā)表于 12-14 08:05

    NVIDIA機器人解決方案亮相智博會

    在近日落幕的2019年全球人工智能產(chǎn)品應用博覽會(智博會)上,NVIDIA展出了其基于最新AI計算機NVIDIA Jetson Nano的機器人解決
    的頭像 發(fā)表于 05-16 15:03 ?3061次閱讀

    利用NVIDIA Jetson Nano開發(fā)機器人應用

      R2-D2 機器人的一些組件包括 Sabertooth 電機控制器、索尼相機、兩個踏板車電機、Arduino、NVIDIA Jetson Nano、一個用于主動潛望鏡機制的 Mus
    的頭像 發(fā)表于 04-18 09:46 ?2265次閱讀

    NVIDIA Jetson 助力創(chuàng)樂博人工智能教育機器人

    借助?NVIDIA?后端到前端全棧式開發(fā)優(yōu)勢, 湖南創(chuàng)樂博智能科技有限公司 結合機器人硬件本體,在教育機器人市場獲得了較大的認可度,同時通過 NVIDIA
    的頭像 發(fā)表于 04-01 01:40 ?1412次閱讀

    基于 NVIDIA Jetson 使用硬件在環(huán)設計機器人

    Isaac 平臺 應用于這些領域的。 NVIDIA Isaac 平臺NVIDIA Isaac Sim 和 NVIDIA Isaac R
    的頭像 發(fā)表于 06-14 18:35 ?1230次閱讀
    基于 <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Jetson</b> 使用硬件在環(huán)設計<b class='flag-5'>機器人</b>

    使用機器學習和NVIDIA Jetson邊緣AI和機器人平臺打造機器人導盲犬

    Selin Alara Ornek 是一名富有遠見的高中生。她使用機器學習和 NVIDIA Jetson 邊緣 AI 和機器人平臺,為視障人士打造了
    的頭像 發(fā)表于 11-08 10:05 ?802次閱讀

    使用NVIDIA Jetson打造機器人導盲犬

    Selin Alara Ornek 是一名富有遠見的高中生。她使用機器學習和 NVIDIA Jetson邊緣 AI 和機器人平臺,為視障人士打造了
    的頭像 發(fā)表于 11-09 13:51 ?747次閱讀

    NVIDIA 通過云端至機器人計算平臺驅動人形機器人技術,賦能物理 AI

    機器人推理與技能基礎模型的首次更新;用于合成運動生成的 NVIDIA Isaac GR00T-Dreams Blueprint;以及用于加速人形機器人開發(fā)的
    發(fā)表于 05-19 17:53 ?985次閱讀
    <b class='flag-5'>NVIDIA</b> 通過云端至<b class='flag-5'>機器人</b>計算<b class='flag-5'>平臺</b>驅動<b class='flag-5'>人形</b><b class='flag-5'>機器人</b>技術,賦能物理 AI