GTC 巴黎 | 英偉達(dá)推開AI定義汽車的大門

　　　　　　自進(jìn)入智能汽車時代以來，英偉達(dá)在全球汽車產(chǎn)業(yè)的地位就變得無可撼動。

　　　　　　本周在法國巴黎舉辦的GTC Paris大會上， NVIDIA 發(fā)布全新的 AI 模型和開發(fā)者工具，推動汽車行業(yè)生態(tài)系統(tǒng)發(fā)展。同時，NVIDIA還發(fā)布了全棧式輔助駕駛軟件。

　　　　　　全球交通運輸行業(yè)正借助 NVIDIA AI、輔助駕駛軟件和加速計算打造未來 AI 定義的汽車。

　　　　　　輔助駕駛堆棧正在從許多不同的模型演變?yōu)榻y(tǒng)一的端到端架構(gòu)，端到端架構(gòu)可直接根據(jù)傳感器數(shù)據(jù)執(zhí)行駕駛操作。這種向使用大模型的過渡大大增加了對用于訓(xùn)練、測試和驗證的高質(zhì)量、基于物理學(xué)傳感器數(shù)據(jù)的需求。

　　　　　　為加速下一代輔助駕駛架構(gòu)的開發(fā)，NVIDIA 發(fā)布了 NVIDIA Cosmos Predict-2。這是一種全新的世界基礎(chǔ)模型，具有更強(qiáng)的未來世界狀態(tài)預(yù)測能力，可生成高質(zhì)量的合成數(shù)據(jù)，以及新的開發(fā)者工具。

　　　　　　Cosmos Predict-2 是 NVIDIA Cosmos 平臺的一部分，該平臺為開發(fā)者提供了應(yīng)對端到端輔助駕駛開發(fā)中最復(fù)雜挑戰(zhàn)的技術(shù)。

　　　　　　Cosmos Predict-1 可通過文本、圖像和視頻提示預(yù)測并生成未來世界狀態(tài)。在 Cosmos Predict-1 的基礎(chǔ)上，Cosmos Predict-2 可更好地理解文本和視覺輸入的上下文，從而減少幻覺，使生成的視頻細(xì)節(jié)更豐富。

　　　　　　通過使用最新的優(yōu)化技術(shù)，Cosmos Predict-2 顯著加快了 NVIDIA DGX Cloud 上合成數(shù)據(jù)的生成速度。

　　　　　　通過在輔助駕駛數(shù)據(jù)集上對 Cosmos 模型進(jìn)行后訓(xùn)練，開發(fā)者可以生成與現(xiàn)有物理環(huán)境與車輛軌跡高度匹配的視頻，還能從單視角視頻（如行車記錄儀片段）生成多視角視頻。這種將廣泛可用的行車記錄儀數(shù)據(jù)轉(zhuǎn)化為多攝像頭數(shù)據(jù)的能力，為開發(fā)者提供了全新的輔助駕駛訓(xùn)練數(shù)據(jù)庫。這些多視角視頻數(shù)據(jù)還可用于替換因傳感器損壞或遮擋而缺失的真實攝像頭數(shù)據(jù)。

　　　　　　除 Cosmos Predict-2 外，NVIDIA 還以 NVIDIA NIM 微服務(wù)預(yù)覽版的方式發(fā)布了Cosmos Transfer，以便開發(fā)者在數(shù)據(jù)中心 GPU 上部署。

　　　　　　Cosmos Transfer NIM 微服務(wù)預(yù)覽版增強(qiáng)了數(shù)據(jù)集，并使用 NVIDIA Omniverse 平臺的結(jié)構(gòu)化輸入或地面實況仿真來生成逼真的視頻。另外，NuRec Fixer 模型有助于修復(fù)和填補重建輔助駕駛數(shù)據(jù)的空白。

　　　　　　全球領(lǐng)先的開源輔助駕駛模擬平臺 CARLA，現(xiàn)已將 Cosmos Transfer 和 NVIDIA NuRec 集成到其最新版本中，后者是一套用于神經(jīng)重建和渲染的 API 工具集。

　　　　　　開發(fā)者可以使用 NVIDIA 物理 AI 數(shù)據(jù)集上提供的開源數(shù)據(jù)試用該工作流。最新發(fā)布的數(shù)據(jù)集包括由 Cosmos 生成的 40,000 個片段，以及用于神經(jīng)渲染的樣本重建場景。借助最新版本的 CARLA，開發(fā)者可以創(chuàng)建新的行駛軌跡、重新定位傳感器并完善模擬駕駛過程。

　　　　　　這種可擴(kuò)展的數(shù)據(jù)生成工作流為端到端輔助駕駛模型架構(gòu)的開發(fā)提供了動力，最近 NVIDIA Research 團(tuán)隊連續(xù)第二次獲得 CVPR 大會輔助駕駛國際挑戰(zhàn)賽“端到端輔助駕駛”賽道冠軍，就是最佳佐證。

　　　　　　該挑戰(zhàn)賽為研究人員提供了探索應(yīng)對突發(fā)情況方法的新機(jī)會，除使用真實世界人類駕駛數(shù)據(jù)之外，加速開發(fā)更智能的汽車。

　　　　　　除了發(fā)布全新的 AI 模型和開發(fā)者工具，NVIDIA 還宣布 NVIDIA DRIVE 全棧式輔助駕駛軟件平臺現(xiàn)已全面投產(chǎn)。該平臺與 NVIDIA 加速計算技術(shù)相結(jié)合，為汽車行業(yè)提供了 AI 驅(qū)動的移動出行堅實基礎(chǔ)。

　　　　　　NVIDIA DRIVE 的模塊化靈活方法使客戶能夠根據(jù)其具體需求進(jìn)行擴(kuò)展，無論是采用整個堆棧還是子集。NVIDIA 強(qiáng)大且通過安全認(rèn)證的輔助駕駛軟件架構(gòu)支持實時傳感器融合，并可通過無線更新實現(xiàn)持續(xù)改進(jìn)。

　　　　　　隨著技術(shù)和法規(guī)的發(fā)展，NVIDIA DRIVE 的可擴(kuò)展性允許汽車制造商部署一系列高級輔助駕駛功能的子集，如可無縫過渡到更高級的 L2++ 級和 L3 級汽車的環(huán)視感知、自動變道、泊車和主動安全。

　　　　　　NVIDIA 的三個計算平臺方案增強(qiáng)了 NVIDIA 的全棧式端到端輔助駕駛軟件，該方案涵蓋整個智能汽車開發(fā)工作流，旨在應(yīng)對與大規(guī)模安全部署輔助駕駛相關(guān)的挑戰(zhàn)。

　　　　　　這三個計算平臺方案包括：用于訓(xùn)練 AI 模型和開發(fā)輔助駕駛軟件的 NVIDIA DGX 平臺和 GPU。運行在 NVIDIA OVX 平臺上的 NVIDIA Omniverse 與 NVIDIA Cosmos 平臺，用于仿真和合成數(shù)據(jù)生成，能夠測試和驗證輔助駕駛場景，并優(yōu)化智能工廠運營。NVIDIA DRIVE AGX 車規(guī)級車載計算平臺，用于處理實時傳感器數(shù)據(jù)，以實現(xiàn)安全、高度自動化和輔助駕駛功能。

　　　　　　輔助駕駛軟件開發(fā)歷來基于模塊化方法，包括用于感知、預(yù)測、規(guī)劃和控制等的獨立組件。這種方法固然有其優(yōu)點，但也會造成潛在的低效和錯誤，從而可能對大規(guī)模開發(fā)帶來阻礙。

　　　　　　NVIDIA DRIVE 輔助駕駛軟件整合了這些功能，利用在大量人類駕駛行為數(shù)據(jù)集上訓(xùn)練的深度學(xué)習(xí)模型和基礎(chǔ)模型來處理傳感器數(shù)據(jù)并直接控制車輛行為，從而無需依賴預(yù)設(shè)規(guī)則或傳統(tǒng)的模塊化流水線。因此，車輛能夠從大量的真實和合成駕駛行為數(shù)據(jù)中學(xué)習(xí)，以類似人的決策方式安全應(yīng)對復(fù)雜的環(huán)境和場景。

　　　　　　NVIDIA Omniverse 智能汽車仿真 Blueprint 可用于進(jìn)一步增強(qiáng)開發(fā)流水線，從而實現(xiàn)物理級精確的傳感器仿真，用于輔助駕駛訓(xùn)練、測試和驗證。通過將該 Blueprint 與 NVIDIA 的三個計算平臺方案相結(jié)合，開發(fā)者可以將數(shù)千英里的人類駕駛里程轉(zhuǎn)化為數(shù)十億英里的虛擬駕駛里程，從而提高數(shù)據(jù)質(zhì)量并實現(xiàn)高效、可擴(kuò)展且持續(xù)改進(jìn)的智能汽車系統(tǒng)。

　　　　　　安全性是所有智能汽車最重要的組成部分。為增強(qiáng)輔助駕駛系統(tǒng)的運行安全性，NVIDIA 今年早些時候推出了 NVIDIA Halos，這是一個綜合安全系統(tǒng)，它將 NVIDIA 全套汽車硬件、軟件安全堆棧與專注于汽車安全領(lǐng)域的前沿 AI 研究成果相結(jié)合，有助于確保智能汽車從云端到車端的安全開發(fā)和部署。Halos 為仿真、訓(xùn)練和部署的輔助駕駛安全提供了護(hù)欄。

　　　　　　該安全框架的一個關(guān)鍵組成部分是用于輔助駕駛的經(jīng) ASIL-B/D 級標(biāo)準(zhǔn)安全認(rèn)證的 NVIDIA DriveOS 操作系統(tǒng)，可為車輛安全運營提供強(qiáng)大、可靠的基礎(chǔ)，并符合嚴(yán)格的汽車安全標(biāo)準(zhǔn)。

　　　　　　借助 Halos 和智能自適應(yīng)傳感器的支持，NVIDIA 的輔助駕駛堆棧提供了當(dāng)今加速安全智能出行所需的工具、計算能力與基礎(chǔ) AI 模型。

　　　　　　汽車行業(yè)領(lǐng)軍企業(yè)博世、Easyrain 與 Nuro 率先加入 NVIDIA Halos AI 系統(tǒng)檢測實驗室，驗證其產(chǎn)品與 NVIDIA 技術(shù)的安全集成，提升智能汽車的安全性。今年早些時候宣布加入實驗室的成員還包括大陸集團(tuán)、Ficosa、OMNIVISION、onsemi 和 Sony Semiconductor Solutions。