對話英偉達(dá)（NVIDIA），AI定義汽車的時代已經(jīng)到來

　　雖然AI時代早已開始，但因為生成式AI的出現(xiàn)，人類已經(jīng)來到了AI時代新的突破點。而汽車這個既古老又現(xiàn)代的交通工具，無疑是當(dāng)前AI最好的落地場景。

　　那么，AI將如何改變汽車本身乃至整個汽車產(chǎn)業(yè)？作為AI時代霸主的NVIDIA又將如何賦能萬物？4月24日，NVIDIA在北京辦公室召開了北京車展媒體溝通會。NVIDIA全球副總裁、汽車事業(yè)部負(fù)責(zé)人吳新宙，NVIDIA汽車事業(yè)部數(shù)據(jù)中心副總裁Norm Marks， NVIDIA全球副總裁、中國區(qū)汽車事業(yè)部負(fù)責(zé)人劉通與太平洋汽車等多家媒體進(jìn)行了深度對話，也讓外界得以探尋NVIDIA的AI野心。

　　盡管履新NVIDIA僅僅7個月，但吳新宙顯然已經(jīng)非常適應(yīng)現(xiàn)在的工作狀態(tài)。在臺上的他，不僅能對AI和智能駕駛侃侃而談，而且有時還會拋個梗，幽默一把，引得臺下媒體發(fā)出一陣笑聲。

　　吳新宙說，過去十年是軟件定義汽車，通過OTA技術(shù)，把汽車這樣一個固定不變的硬件產(chǎn)品變成可以自學(xué)習(xí)、不斷變化的用戶產(chǎn)品。但隨著生成式AI的大規(guī)模進(jìn)展，接下來AI定義汽車一定會是一個很大的趨勢。而且，生成式AI在未來會把自動駕駛的天花板進(jìn)一步提升。

　　如同在人臉識別、計算機(jī)視覺已經(jīng)發(fā)生的三段式發(fā)展過程一樣，在吳新宙看來，自動駕駛也會是三段式的發(fā)展：剛開始第一代的自動駕駛系統(tǒng)是完全基于規(guī)則，有著大量人工Engineer Feature（工程師特征），通過很多算法去完成自動駕駛這樣一個讓車自己開的動作。第二代就是現(xiàn)在市場上可以看到的，已經(jīng)開始用大量的AI取代原有的人工Engineer Feature，現(xiàn)在不管是預(yù)測還是規(guī)劃都在用模型去做。第三代則會變成端到端大模型的方式。而且這個過程是不可避免的，在未來五年內(nèi)就會發(fā)生。

　　既然不可避免，那未來的AI汽車會是怎樣的呢？吳新宙認(rèn)為，屆時會比現(xiàn)在的自動駕駛開發(fā)簡單很多，因為它是一個大模型，更多地是集中在云端。NVIDIA希望大部分模型都能夠在云端完成訓(xùn)練，通過數(shù)據(jù)驅(qū)動的方式，車端觸發(fā)Edge Case案例，然后通過自動數(shù)據(jù)驅(qū)動完成模型的自我迭代，也希望在云端通過仿真完成大部分的驗證，極大地減少車端大規(guī)模設(shè)備部署和測試的依賴性。未來的部署也可以簡化成模型更新的工作，而不是巨大的代碼更新。

　　當(dāng)然，AI對于汽車的影響遠(yuǎn)不只自動駕駛領(lǐng)域，生成式AI對智能座艙的提升也是巨大的。吳新宙希望未來的車端AI 計算平臺既可以支持智能駕駛，也可以支持車端智能，包括座艙的一些配置。

　　要做到這一切，一顆強(qiáng)大的AI芯片不可或缺。NVIDIA DRIVE Thor的出現(xiàn)，有望把車端的仿真模型的運算能力推到下一個高點。同時，NVIDIA在DRIVE Thor上也做了大量的思考，以便能夠更好地支持LLM模型。

　　DRIVE Thor的算力相比上一代有了比較大的提升，安全等級也更高，而且能夠?qū)ι墒紸I、LLM給予最好的支持。吳新宙透露，大概2025年開始有第一代的SOP，芯片也會比較快地拿到樣片。國內(nèi)包括蔚小理，比亞迪、廣汽等都已經(jīng)確定了下一代自動駕駛平臺會通過DRIVE Thor開發(fā)。

　　隨著本輪汽車革命進(jìn)入到以智能化為標(biāo)志的下半場，當(dāng)前幾乎所有瞄準(zhǔn)智能駕駛的車企和智駕公司都在研究端到端。

　　吳新宙認(rèn)為，端到端是自動駕駛?cè)角淖罱K一步。不過他也強(qiáng)調(diào)，不能僅僅從字面上理解端到端就是從像素到動作，可能會有一些別的東西配合。比如在控制這一環(huán)，后面可能還會有優(yōu)化幫助把控制做得更好，因為控制是數(shù)學(xué)問題，但是這個問題比較技術(shù)性。

　　“端到端的模型上線之前一定會有一個「護(hù)欄」，因為需要不停地優(yōu)化和成長，要是一開始就上線端到端的模型是非常困難的”。吳新宙說，能夠把端到端模型做好的企業(yè)一定也需要非常好的第二代甚至第一代的自動駕駛堆棧。就比如，端到端的模型像是未來可以成為博士生甚至博士后的學(xué)生，但在成長的過程中需要小學(xué)老師、初中老師去帶去教，讓它能夠有時間去成長。顯然，這并不是一個一蹴而就的過程。吳新宙表示，在未來幾年，端到端的模型和原有模型的相輔相成，某些情況下比如比較難的路口處理可以顯示出更加擬人化的東西，通過原有的模型和方法保證安全性，這些是把端到端模型真正大規(guī)模部署，變成主流的一個過程。

　　盡管業(yè)內(nèi)普遍看好端到端的前景，但同樣也擔(dān)心端到端的黑盒問題，人們并不知道神經(jīng)網(wǎng)絡(luò)內(nèi)部是如何工作的。不過吳新宙覺得這個問題并非無解，首先通過原有的第一代和第二代算法棧，可以保證端到端模型的安全性，也可以不停地判斷端到端模型決定的合理性，把雙方有差異的地方作為輸入。這有點像大語言模型訓(xùn)練的反饋，能夠讓結(jié)果更加合理化。

　　此外，還可以嘗試給“黑盒”開幾扇窗。吳新宙說，未來的大模型、端到端模型有周邊的輸出點可以觀測，比如可以觀測DEV輸出的結(jié)果，訓(xùn)練的時候也是部分訓(xùn)練?？梢钥吹叫盘柺窃鯓拥哪Ｊ剑ㄟ^這樣的方式在最后運行的時候不需要運行仿真，那些窗其實就是輸出口。最后正式運行的時候不一定要運行那些東西，但如果需要觀測為什么、了解怎么想的話可以通過那個窗口看一下。

　　無獨有偶，同濟(jì)大學(xué)教授朱西產(chǎn)日前在“智能汽車之夜”上對于端到端黑盒的問題也表達(dá)過類似的觀點，他認(rèn)為完全黑盒并不正確。人類需要在副駕駛安排一個座位，就像教練教學(xué)徒。沒危險時你可以自由發(fā)揮，一旦碰到安全邊界，教練可以隨時踩一腳剎車。

　　盡管挑戰(zhàn)重重，但吳新宙堅信可以在2026年量產(chǎn)L3。屆時可以完全把人從系統(tǒng)中拿掉。“我們的核心是讓大家在車?yán)锊皇情_車，而是可以玩手機(jī)，這是大家的剛需。開車不是剛需，從A點到B點是剛需，玩手機(jī)也是剛需。”吳新宙笑著說道。

　　Norm Marks是一位汽車軟件領(lǐng)域的老將，他已經(jīng)在這個行業(yè)工作了25年。然而生成式AI以及大語言模型對汽車行業(yè)的影響依然令他印象深刻。他說，自己從來沒有看到過生成式AI被采用的速度像過去的18-24個月這么快的情況。

　　自動駕駛汽車1.0時代主要是基于標(biāo)注圖像的訓(xùn)練，并在上面開發(fā)和部署深度神經(jīng)網(wǎng)絡(luò)的集成，可能會有40-50個深度神經(jīng)網(wǎng)絡(luò)從L2+層級往更高級的自動駕駛方向去走。假設(shè)有50輛測試車的車隊，每周生成的數(shù)據(jù)可能是2PB，其中只有10%-15%會得到標(biāo)注，所以可以想象繼續(xù)往上走的規(guī)模會有多大。受限于此，1.0時代智駕只能走這么遠(yuǎn)，可以實現(xiàn)ADAS和領(lǐng)航自動駕駛LLM，或者是高速和城市環(huán)境的自動駕駛，但如果想要實現(xiàn)完全的自動駕駛以及最高等級的安全，需要向2.0轉(zhuǎn)型。

　　Norm Marks說，2.0就是基于視頻進(jìn)行模型的訓(xùn)練，就像真人看世界那樣，不是像1.0時代40-50張深度神經(jīng)網(wǎng)絡(luò)的部署，2.0時代是一整個大的融合世界的統(tǒng)一模型，基于GPT或者基于Transformer建立，采用多模態(tài)的大語言模型，包括視覺語言模型和生成式AI的其它技術(shù)。

　　同時，目前NVIDIA還在使用生成式數(shù)據(jù)，特別是其自研渲染工具Omniverse，它既可以部署在云端，也可以部署在本地OES服務(wù)器。Omniverse能夠?qū)崿F(xiàn)數(shù)據(jù)生成，補足仿真Corner Case，從而快速轉(zhuǎn)成虛擬數(shù)據(jù)，然后進(jìn)行隨機(jī)處理，衍生出更多的Corner Case?，F(xiàn)場，吳新宙也講到了Omniverse的一些應(yīng)用場景，最核心的就是可以實現(xiàn)統(tǒng)一的數(shù)字孿生，所有的數(shù)據(jù)源收集上來以后構(gòu)建起來的數(shù)字孿生是統(tǒng)一的視圖。

　　毫無疑問，自動駕駛汽車技術(shù)的發(fā)展對算力和規(guī)模都提出了更高的要求。Norm Marks預(yù)計，未來三年自動駕駛汽車2.0轉(zhuǎn)型的模型規(guī)模將增長13倍，數(shù)據(jù)存儲規(guī)模將增長17倍。Norm Marks說，從早期的工作繼續(xù)往后看，基于Transformer需要的是3000個服務(wù)器節(jié)點，相當(dāng)于24000個GPU，再往上用到最先進(jìn)的GPT4作為基礎(chǔ)的話需要上萬的服務(wù)器節(jié)點，到了1萬個就已經(jīng)是超算的場景。

　　生成式AI的大爆發(fā)，NVIDIA顯然是最大的贏家，甚至沒有之一。隨著汽車智能化的推進(jìn)，NVIDIA在中國乃至世界的智駕版圖必然再次擴(kuò)大。

　　劉通深耕中國市場多年，他表示NVIDIA在中國的汽車客戶數(shù)量非常龐大。比如全球新能源汽車銷冠比亞迪跟NVIDIA的合作就是端到端全棧式合作。包括車端芯片、DRIVE Orin、DRIVE Thor，智駕芯片、數(shù)據(jù)中心端的解決方案，GPU產(chǎn)品、數(shù)據(jù)中心的網(wǎng)絡(luò)，以及NVIDIA用于AI開發(fā)和自動駕駛算法開發(fā)或者大模型的開發(fā)的軟件系列產(chǎn)品NVIDIA AI Enterprise。在智能工廠環(huán)節(jié)，NVIDIA和比亞迪也在做機(jī)器人領(lǐng)域的合作。劉通透露，NVIDIA與比亞迪有全系列合作，包括DRIVE Thor、DRIVE Orin、Omniverse，是最完整的合作代表。

　　當(dāng)然，這種端到端的合作模式不只是和比亞迪，比如和理想也是這種合作模式。理想是第一批采用DRIVE Orin的高端客戶，現(xiàn)在也宣布應(yīng)用DRIVE Thor。劉通說，理想與NVIDIA有著多方面的合作，包括大規(guī)模的數(shù)據(jù)中心的合作和在車端芯片開發(fā)高端智駕的合作。此外，很早就用DRIVE Orin發(fā)布非常先進(jìn)的智駕方案的小鵬也宣布采用下一代的DRIVE Thor。事實上，許多前期DRIVE Orin客戶都在紛紛向DRIVE Thor遷移。

　　據(jù)不完全統(tǒng)計，采用DRIVE Orin的中國車企包括上汽的智己、飛凡，吉利的極氪、極越、路特斯，長城汽車等30多家主流車企，覆蓋了50余款車型，就連時下最火的小米SU7全系搭載的也是DRIVE Orin系列。劉通表示，在中高端的智能汽車領(lǐng)域，NVIDIA的占有率非常高。

　　可以想見，隨著AI定義汽車時代的到來，NVIDIA在汽車行業(yè)的地位必將得到進(jìn)一步提升，王者的王冠或?qū)⒏咏鸸忾W閃。