加入星計(jì)劃,您可以享受以下權(quán)益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴(kuò)散
  • 作品版權(quán)保護(hù)
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長期合作伙伴
立即加入
  • 正文
    • 通用場景描述(OpenUSD)技術(shù)和生態(tài)持續(xù)突破
    • 全新NIM微服務(wù)加速人形機(jī)器人發(fā)展
    • 助力企業(yè)打造更為強(qiáng)大的生成式AI
  • 推薦器件
  • 相關(guān)推薦
  • 電子產(chǎn)業(yè)圖譜
申請入駐 產(chǎn)業(yè)圖譜

英偉達(dá)在SIGGRAPH 2024:已推動(dòng)生成式AI成為一個(gè)時(shí)代

08/02 11:59
1778
閱讀需 11 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點(diǎn)資訊討論

一年一度的計(jì)算機(jī)圖形學(xué)頂級會(huì)議SIGGRAPH上,英偉達(dá)宣布了一系列重要進(jìn)展:比如通用場景描述(OpenUSD)的擴(kuò)大應(yīng)用,能夠提高開發(fā)者構(gòu)建高精度虛擬世界的能力;簡化AI模型部署的NIM,可為開發(fā)人員和企業(yè)提供易于集成和優(yōu)化的解決方案;提出系統(tǒng)化擴(kuò)展機(jī)器人數(shù)據(jù)的方法,有望打破人形機(jī)器人訓(xùn)練在數(shù)據(jù)量、時(shí)間、空間等方面的限制,從而加速人形機(jī)器人的發(fā)展。

此外,英偉達(dá)創(chuàng)始人兼CEO 黃仁勛,與Meta創(chuàng)始人兼 CEO馬克·扎克伯格,以及《連線》雜志高級作家勞倫·古德的兩場爐邊談話,主要探討了加速計(jì)算和生成式AI如何轉(zhuǎn)變行業(yè),也引發(fā)了廣泛關(guān)注。

通用場景描述(OpenUSD)技術(shù)和生態(tài)持續(xù)突破

英偉達(dá)的故事始于通用計(jì)算,并在圖形行業(yè)取得了重要進(jìn)展,如3D、光線追蹤和可編程著色等。

在這次的SIGGRAPH上,英偉達(dá)研究團(tuán)隊(duì)展示了超過20篇研究論文,其中兩篇獲得了最佳論文技術(shù)獎(jiǎng),展示了AI如何通過提高圖像質(zhì)量和解鎖新的3D方法使仿真變得更好;同時(shí),仿真也使AI變得更好,通過更好的合成數(shù)據(jù)生成器和更多其他方式來訓(xùn)練下一代模型。

在通用場景描述(OpenUSD)方面,英偉達(dá)擴(kuò)大了這一通用3D數(shù)據(jù)交換框架在機(jī)器人、工業(yè)設(shè)計(jì)和工程領(lǐng)域的應(yīng)用,提高了開發(fā)者為AI新一輪發(fā)展構(gòu)建高精度虛擬世界的能力。

新推出的內(nèi)容包括適用于AI模型的NVIDIA NIM微服務(wù),這些微服務(wù)可生成回答用戶查詢的OpenUSD語言、生成OpenUSD Python代碼、將材質(zhì)應(yīng)用于3D物體、理解3D空間和物理學(xué)以幫助加快數(shù)字孿生的開發(fā)等。其他還包括可用于機(jī)器人和工業(yè)仿真數(shù)據(jù)格式的全新USD連接器,以及各種開發(fā)者工具,用戶可通過它們將海量RTX全光線追蹤數(shù)據(jù)集傳輸?shù)紸pple Vision Pro。

通過NIM微服務(wù),英偉達(dá)將生成式AI應(yīng)用于OpenUSD開發(fā),為開發(fā)者提供了一系列智能工具。這些工具包括代碼生成、搜索、驗(yàn)證等功能,旨在加速OpenUSD在制造業(yè)、汽車和機(jī)器人等領(lǐng)域的應(yīng)用。預(yù)覽版中已有USD Code、Search、Validate微服務(wù),未來還將推出更多如Layout、SmartMaterial、Mesh Generation等,以進(jìn)一步拓寬3D世界的應(yīng)用邊界,提升開發(fā)效率和創(chuàng)意實(shí)現(xiàn)能力。

NVIDIA Omniverse與仿真技術(shù)副總裁Rev Lebaredian表示:“重工業(yè)的生成式AI潮已經(jīng)到來。直到最近,數(shù)字世界的主要用戶還是創(chuàng)意行業(yè);而現(xiàn)在,借助NVIDIA NIM微服務(wù)為OpenUSD帶來的增強(qiáng)功能和可訪問性,各個(gè)行業(yè)都可以創(chuàng)建基于物理學(xué)的虛擬世界和數(shù)字孿生,在加快創(chuàng)新的同時(shí),為機(jī)器人這次新一輪AI技術(shù)熱潮做好準(zhǔn)備?!?/p>

隨著USD連接器擴(kuò)展了OpenUSD的互操作性和創(chuàng)作能力、覆蓋更多行業(yè)的同時(shí),OpenUSD生態(tài)系統(tǒng)也在不斷壯大。

富士康作為全球制造業(yè)巨頭,目前已經(jīng)利用英偉達(dá)的計(jì)算平臺、NIM微服務(wù)和Omniverse創(chuàng)建了數(shù)字孿生工廠,加速工業(yè)制造和自主機(jī)器發(fā)展。WPP作為營銷服務(wù)公司,也在借助USD Search和USD Code NIM微服務(wù),在Omniverse平臺上加速生成式AI內(nèi)容創(chuàng)作,為可口可樂等客戶提供創(chuàng)新服務(wù)。雙方均表示這些技術(shù)提升了工作效率,并鞏固了他們在OpenUSD等標(biāo)準(zhǔn)上的投資。

同時(shí),英偉達(dá)與西門子合作,將OpenUSD集成到其仿真技術(shù)Simcenter中,提升工業(yè)工作負(fù)載的效率。該集成可實(shí)現(xiàn)復(fù)雜仿真數(shù)據(jù)的高保真、實(shí)時(shí)、逼真可視化,讓企業(yè)能夠更加深入地了解產(chǎn)品在實(shí)際操作環(huán)境中的性能。據(jù)了解,西門子將把Omniverse納入其Teamcenter 產(chǎn)品生命周期管理軟件組合中,為這項(xiàng)工作打好基礎(chǔ)。

英偉達(dá)還發(fā)布了一個(gè)從統(tǒng)一機(jī)器人描述格式(Unified Robotics Description Format)到OpenUSD的連接器,讓機(jī)器人專家能夠?qū)⑺麄兊臋C(jī)器人數(shù)據(jù)無縫導(dǎo)入到用于設(shè)計(jì)、仿真和強(qiáng)化學(xué)習(xí)等用途的各種應(yīng)用中。

為了進(jìn)一步推動(dòng)OpenUSD生態(tài)系統(tǒng)的擴(kuò)張,英偉達(dá)還發(fā)布了OpenUSD Exchange軟件開發(fā)套件,幫助開發(fā)者創(chuàng)建出自己的強(qiáng)大OpenUSD數(shù)據(jù)連接器。

皮克斯首席技術(shù)官兼 OpenUSD 聯(lián)盟(AOUSD)主席 Steve May 表示:“OpenUSD 正在徹底改變我們創(chuàng)建3D內(nèi)容并與之互動(dòng)的方式?,F(xiàn)在,借助英偉達(dá)為OpenUSD打造的這些新服務(wù)和API,我們有望看到USD以更快的速度增長和普及,這將為新用戶和行業(yè)更輕松地參與我們的生態(tài)系統(tǒng)鋪平道路。”

全新NIM微服務(wù)加速人形機(jī)器人發(fā)展

數(shù)據(jù)集是人工智能算法訓(xùn)練的關(guān)鍵要素,人形機(jī)器人的數(shù)據(jù)集不足一直是行業(yè)的痛點(diǎn)之一,因?yàn)橛?xùn)練人形機(jī)器人基礎(chǔ)模型需要大量數(shù)據(jù),而遠(yuǎn)程操作獲取演示數(shù)據(jù)成本高且耗時(shí)長。

英偉達(dá)最新提出的系統(tǒng)化擴(kuò)展機(jī)器人數(shù)據(jù)的方法,有望解決行業(yè)痛點(diǎn),加速機(jī)器人算法迭代和智能化提升。在SIGGRAPH大會(huì)上,英偉達(dá)展示了利用AI和Omniverse從少量遠(yuǎn)程捕捉生成大量合成數(shù)據(jù)的參考工作流,結(jié)合Isaac Sim和MimicGen NIM微服務(wù)生成合成數(shù)據(jù)集,降低訓(xùn)練成本和時(shí)間。同時(shí),Robocasa NIM和OSMO服務(wù)進(jìn)一步優(yōu)化訓(xùn)練流程,減少管理負(fù)擔(dān)。

其中,NIM微服務(wù)可縮短部署時(shí)間至幾分鐘,通過MimicGen和Robocasa生成合成運(yùn)動(dòng)數(shù)據(jù)和仿真環(huán)境;OSMO作為云原生服務(wù),簡化訓(xùn)練和仿真流程,可將開發(fā)周期縮短至一周內(nèi),支持可視化管理和多種機(jī)器人開發(fā)任務(wù)。

通過這一系列相關(guān)技術(shù),有望打破人形機(jī)器人訓(xùn)練在數(shù)據(jù)量,時(shí)間、空間的限制。并且,英偉達(dá)構(gòu)建的業(yè)內(nèi)生態(tài),助力初創(chuàng)機(jī)器人企業(yè)縮短開發(fā)周期,為行業(yè)注入活力。

據(jù)介紹,英偉達(dá)擴(kuò)大人形機(jī)器人開發(fā)者技術(shù)的訪問渠道主要包括三個(gè)計(jì)算平臺,分別是:用于訓(xùn)練模型的 NVIDIA AI 超級計(jì)算機(jī);基于 Omniverse 構(gòu)建的 NVIDIA Isaac Sim,使機(jī)器人可以在仿真世界中學(xué)習(xí)和完善技能;以及用于運(yùn)行模型的 NVIDIA Jetson Thor人形機(jī)器人計(jì)算機(jī)。開發(fā)者可以根據(jù)具體需求來訪問和使用全部平臺或其中的任何部分。

通過新開發(fā)者計(jì)劃,開發(fā)者可提前獲取新產(chǎn)品及最新軟件版本,首批企業(yè)已加入,包括1x、波士頓動(dòng)力公司、字節(jié)跳動(dòng)ByteDance Research、Field AI、Figure、傅利葉、銀河通用、逐際動(dòng)力、Mentee、Neura Robotics、星動(dòng)紀(jì)元和 Skild AI。開發(fā)者現(xiàn)可加入計(jì)劃,訪問OSMO、Isaac Lab,并將獲得NIM微服務(wù)訪問權(quán)。

黃仁勛強(qiáng)調(diào),人形機(jī)器人是AI新浪潮的亮點(diǎn),開放機(jī)器人技術(shù)棧,可助力開發(fā)者利用高效平臺與資源。

助力企業(yè)打造更為強(qiáng)大的生成式AI

在與《連線》雜志高級作家勞倫·古德的爐邊談話中,黃仁勛表示,深度植根于視覺計(jì)算的生成式AI正在增強(qiáng)人類的創(chuàng)造力,而加速計(jì)算有望顯著提高能源效率。他指出,加速計(jì)算可以節(jié)省20倍甚至50倍的能耗,而且能完成同樣的處理工作。

在和馬克·扎克伯格的對談中,他們探討了開源AI和AI助手的變革潛力。馬克·扎克伯格表示,隨著模型變得更大、更通用,合作是取得更多進(jìn)步的關(guān)鍵,正如他近期在博客文章中寫到的:Llama 3.1有望成為開源AI的“轉(zhuǎn)折點(diǎn)”。

黃仁勛也認(rèn)為,這是一件令人興奮的事情。目前,英偉達(dá)擁有完整的生態(tài)系統(tǒng),包括OEM合作伙伴等,他們可以運(yùn)行NIM,也可以合作并創(chuàng)建基于Llama的GSI。英偉達(dá)正在幫助全球的企業(yè)進(jìn)行這樣的操作,助力他們將各自的AI能力和數(shù)據(jù)、經(jīng)驗(yàn)等進(jìn)行結(jié)合,加快生成式AI的落地部署。

他預(yù)言,未來,人與AI的互動(dòng)將變得更加流暢,而不僅僅是基于文本交互,也不會(huì)像今天一樣是一來一回的模式,它將來會(huì)考慮多個(gè)選項(xiàng),生成一個(gè)選項(xiàng)樹,并模擬結(jié)果,變得更加強(qiáng)大。

推薦器件

更多器件
器件型號 數(shù)量 器件廠商 器件描述 數(shù)據(jù)手冊 ECAD模型 風(fēng)險(xiǎn)等級 參考價(jià)格 更多信息
STM32F030C8T6TR 1 STMicroelectronics Mainstream Arm Cortex-M0 Value line MCU with 64 Kbytes of Flash memory, 48 MHz CPU

ECAD模型

下載ECAD模型
$3.41 查看
ATXMEGA256A3U-AUR 1 Atmel Corporation RISC Microcontroller, 16-Bit, FLASH, AVR RISC CPU, 32MHz, CMOS, PQFP64, 14 X 14 MM, 1 MM THICKNESS, 0.80 MM PITCH, GREEN, PLASTIC, MS-026AEB, TQFP-64
$7.71 查看
STM32H750VBT6 1 STMicroelectronics High-performance and DSP with DP-FPU, Arm Cortex-M7 MCU with 128 Kbytes of Flash memory, 1MB RAM, 480 MHz CPU, L1 cache, external memory interface, JPEG codec, HW crypto, large set of peripherals

ECAD模型

下載ECAD模型
$27.62 查看
英偉達(dá)

英偉達(dá)

NVIDIA(中國大陸譯名:英偉達(dá),港臺譯名:輝達(dá)),成立于1993年,是一家美國跨國科技公司,總部位于加利福尼亞州圣克拉拉市,由黃仁勛、克里斯·馬拉科夫斯基(Chris Malachowsky)和柯蒂斯·普里姆(Curtis Priem)共同創(chuàng)立。公司早期專注于圖形芯片設(shè)計(jì)業(yè)務(wù),隨著公司技術(shù)與業(yè)務(wù)發(fā)展,已成長為一家提供全棧計(jì)算的人工智能公司,致力于開發(fā)CPU、DPU、GPU和AI軟件,為建筑工程、金融服務(wù)、科學(xué)研究、制造業(yè)、汽車等領(lǐng)域的計(jì)算解決方案提供支持。

NVIDIA(中國大陸譯名:英偉達(dá),港臺譯名:輝達(dá)),成立于1993年,是一家美國跨國科技公司,總部位于加利福尼亞州圣克拉拉市,由黃仁勛、克里斯·馬拉科夫斯基(Chris Malachowsky)和柯蒂斯·普里姆(Curtis Priem)共同創(chuàng)立。公司早期專注于圖形芯片設(shè)計(jì)業(yè)務(wù),隨著公司技術(shù)與業(yè)務(wù)發(fā)展,已成長為一家提供全棧計(jì)算的人工智能公司,致力于開發(fā)CPU、DPU、GPU和AI軟件,為建筑工程、金融服務(wù)、科學(xué)研究、制造業(yè)、汽車等領(lǐng)域的計(jì)算解決方案提供支持。收起

查看更多

相關(guān)推薦

電子產(chǎn)業(yè)圖譜

與非網(wǎng)資深行業(yè)分析師。主要關(guān)注人工智能、智能消費(fèi)電子等領(lǐng)域。電子科技領(lǐng)域?qū)I(yè)媒體十余載,善于縱深洞悉行業(yè)趨勢。歡迎交流~