全新 NVIDIA 神經(jīng)圖形 SDK 使每個人都能創(chuàng)建元宇宙內(nèi)容

新發(fā)布的 ?NeuralVDB和 ?Kaolin Wisp 等十幾款工具和程序使數(shù)百萬設(shè)計師和創(chuàng)作者能夠輕松、快速地創(chuàng)建 3D 內(nèi)容。

一直以來，創(chuàng)建游戲、虛擬世界（包括元宇宙）、產(chǎn)品設(shè)計或視覺效果場景中的 3D 物體都是一項高度精細的工作，即便是技藝精湛的藝術(shù)家也必須在細節(jié)逼真度與期限和預(yù)算壓力之間取得平衡。

要制作出在物理世界中看起來無異的物品需要耗費很長的時間，更復雜的是有時需要讓多個物體和角色在虛擬世界中互動。模擬物理已變得和模擬光線一樣重要，例如虛擬工廠中的機器人不僅要有與真實機器人完全相同的外觀，還要有完全相同的承重和制動能力。

完全做到這一點很難，但這也蘊含著巨大的機遇。除了產(chǎn)品設(shè)計外，它還影響到交通運輸、醫(yī)療、電信、娛樂等多個萬億美元的行業(yè)。最終，在虛擬世界中創(chuàng)建的內(nèi)容數(shù)量將超過在物理世界中創(chuàng)建的內(nèi)容。

為了簡化和縮短這一流程，NVIDIA 于今日發(fā)布新的研究和多款工具，這些工具將神經(jīng)圖形的應(yīng)用于創(chuàng)建、動畫 3D 物體和世界。

這些 SDK 包括為行業(yè)標準 OpenVDB 帶來突破性更新的 NeuralVDB，以及建立神經(jīng)場研究框架的 Pytorch 庫——Kaolin Wisp 。它們不但簡化了設(shè)計師的創(chuàng)作流程，還使數(shù)百萬非專業(yè)設(shè)計人士也能輕松創(chuàng)建 3D 內(nèi)容。

神經(jīng)圖形是將 AI 和圖形學相結(jié)合的新領(lǐng)域，可以用來創(chuàng)建能夠從數(shù)據(jù)中學習的加速圖形流程。AI 的加入改進了結(jié)果、幫助實現(xiàn)設(shè)計選擇的自動化并為藝術(shù)家和創(chuàng)作者提供目前無法想象的新機會。神經(jīng)圖形學將重新定義用戶的虛擬世界創(chuàng)建、模擬和體驗方式。

這些 SDK 和研究將推動內(nèi)容創(chuàng)作流程的每個階段，包括：

3D 內(nèi)容創(chuàng)建

• Kaolin Wisp：對Kaolin（一個能夠?qū)⑿录夹g(shù)測試和實施時間從幾周縮短到幾天，讓 3D深度學習研究變得更快的 PyTorch 庫）的補充。Kaolin Wisp 是一個面向神經(jīng)領(lǐng)域研究的庫，它建立了一套加速神經(jīng)領(lǐng)域新研究的通用工具和框架。

• 即時神經(jīng)圖形基元：一種捕捉現(xiàn)實世界物體形狀的新方法，也是 NVIDIA Instant NeRF（一種可將靜止圖像集變成數(shù)字 3D 場景的可逆渲染模型）背后的靈感來源。這項技術(shù)和相關(guān)的GitHub代碼將該流程的速度加快了高達 1000 倍。

• 3D MoMa：一種新的可逆渲染流程，使用戶可以將 2D 物體快速導入圖形引擎，并創(chuàng)建出可以用現(xiàn)實材料、照明和物理學進行修改的 3D 物體。

• GauGAN360：NVIDIA GauGAN 的進化版本。這個 AI 模型可以將粗糙的涂鴉變成逼真的繪畫作品。GauGAN360 可生成能夠移植到 Omniverse 場景的 8K 360 度全景圖。

• Omniverse Avatar Cloud Engine（ACE）：這個全新的云API、微服務(wù)和工具集可創(chuàng)建、自定義和部署數(shù)字人應(yīng)用。ACE建立在NVIDIA的統(tǒng)一計算框架基礎(chǔ)之上，開發(fā)者可通過它將NVIDIA的核心AI技術(shù)無縫集成到其虛擬形象應(yīng)用中。

物理學和動畫

• NeuralVDB：一項對當前行業(yè)的體數(shù)據(jù)存儲標準 OpenVDB 的突破性改進。NeuralVDB運用機器學習引入緊湊型神經(jīng)表示法，大幅減少了內(nèi)存占用，以支持更高分辨率的 3D 數(shù)據(jù)。

• Omniverse Audio2Face：一種可將音頻源生成生動面部動畫的 AI 技術(shù)。它非常適合用于交互式實時應(yīng)用和作為傳統(tǒng)的面部動畫創(chuàng)作工具。

• ASE：動畫技能嵌入：一種使物理模擬角色在不熟悉的場景中以更靈敏、逼真的方式行動的方法。它使用深度學習指導角色如何應(yīng)對新的任務(wù)和行動。

• TAO 工具包：一個使用戶能夠創(chuàng)建準確、高性能姿勢預(yù)估模型的框架。它能夠以比當前方法更快的速度運用計算機視覺評估個人可以在場景中做什么。

體驗

• 影像特征眼動追蹤：一個將像素渲染質(zhì)量與用戶反應(yīng)時間相聯(lián)系的研究模型。它通過預(yù)測渲染質(zhì)量、顯示屬性和瀏覽條件的最佳組合，實現(xiàn)最小的延遲，使快節(jié)奏的交互式計算機圖形學應(yīng)用（如競技游戲）有更好的表現(xiàn)。

• VR全息眼鏡：與斯坦福大學一同開發(fā)的全新 VR 眼鏡設(shè)計，可在開創(chuàng)性的 2.5 毫米厚光學堆棧中提供全色 3D 全息圖像。

與 NVIDIA 一起在 SIGGRAPH 上進一步了解圖形學、AI 和虛擬世界的最新研究與技術(shù)突破。查看 NVIDIA Research 的最新創(chuàng)新成果并獲得 NVIDIA 全套 SDK、工具和庫。