鄔賀銓院士：大模型上車可以實現(xiàn)高度自動駕駛

　　3月15日，中國電動汽車百人會論壇（2024）在北京開幕，中國工程院院士鄔賀銓在大會上做了《5G+AI加持，網(wǎng)聯(lián)智駕加速》的演講。鄔賀銓院士表示，大模型加載到汽車上，可以實現(xiàn)從自主式駕駛輔助到網(wǎng)聯(lián)式駕駛輔助，到人機共駕，以及高度的自動駕駛。

　　一直以來，5G和AI都被人類視為加速智能汽車的關(guān)鍵技術(shù)。去年年底，中國5G基站已經(jīng)有300多萬臺了，占移動通信基站大概是1/3，占全球5G的60%。5G用戶占移動用戶已經(jīng)過半，中國5G用戶占全球5G用戶也是一半。今年是5.5G的商用年，5.5G是在原有的大連接、高可靠、低時延、增強移動寬帶的基礎(chǔ)上會增加很多新的能力。5.5G和5G相比，無論下行峰值、上行峰值、連接密度、定位精度、比特能效都有提升。

　　鄔賀銓院士說，原來是下行帶寬比較寬、上行帶寬沒那么寬，現(xiàn)在通過多個載波聚合，以及靈活的分配上下行等等技術(shù)，使得上行速率可以到7BT，這樣的帶寬有利于路側(cè)攝像頭，可以把高清視頻往上傳?，F(xiàn)在通過5G提供沉浸式交互實景導(dǎo)航和車載娛樂體驗，把時延大大控制下來，有利于智能駕駛的應(yīng)用。當(dāng)然還有輕量化，通過中速低時延，顯著降低了傳感器的成本。

　　除了5G，另外一個值得注意的技術(shù)趨勢是人工智能。人工智能已經(jīng)有60多年歷史，但是最初被大家所感覺的是1997年IBM深藍(lán)戰(zhàn)勝了頂級國際象棋大師，其后影響似乎就沒那么大了。鄔賀銓院士說，重新喚起人們對AI的關(guān)注是2016年AlphaGO戰(zhàn)勝了圍棋高手，更為重要的影響是2022年底的ChatGPT和2024年初的SORA為例，還會走到第三代通用人工智能，單模型可以支持多任務(wù)、輸入可以多模態(tài)，可以精準(zhǔn)的進(jìn)行計算。

　　鄔賀銓院士認(rèn)為，5G、AI的發(fā)展會給汽車智能化帶來很大的改變。比如現(xiàn)在就利用人工智能解決道路數(shù)據(jù)采集的難題。“

　　有人說自動駕駛的商業(yè)化落地要有百億公里的路測數(shù)據(jù)，就是相當(dāng)于100輛汽車每天不停地跑要測試100年，這根本是做不到的。去年上半年中國累計開放的測試道路是2萬多公里，總測試的里程超過了7000萬公里，7000萬強不到1個億，剛才說了前邊有百億，就是說1%都不到，而專門的采集車成本甚至很高，有人說可以高達(dá)每天1萬元，而且即便這樣跑下來也不一定能捕捉到特殊的長尾場景。”鄔賀銓院士透露，現(xiàn)階段中國進(jìn)行的智能網(wǎng)聯(lián)汽車的測試中90%都是仿真的，9%是封閉道路的，只有1%是真實道路的，跟真正的道路測試差很遠(yuǎn)，而且同樣的，仿真也很難覆蓋到真實的“長尾場景”。解決的辦法是利用人工智能，在已有的測試，白天測試的場景可以通過遷移學(xué)習(xí)變成晚上的場景，甚至可以仿真日常司機的不規(guī)范行為，包括一些危險的場景，通過這樣可以獲得解決真正的路測不可能覆蓋“長尾場景”的問題，當(dāng)然這種遷移學(xué)習(xí)可以通過改變光源、材質(zhì)等各種各樣的數(shù)據(jù)，在數(shù)據(jù)中心內(nèi)部就可以做到了。

　　    據(jù)悉，特斯拉也只做了20億公里，離100億公里的測試只有1/5，現(xiàn)在特斯拉認(rèn)為不再做真實路段的測試了，通過人工智能的辦法來完善路測的數(shù)據(jù)，基于這種大模型的路測每天就可以做上百萬公里。

　　    鄔賀銓院士舉例說，可以通過SORA讓汽車找出各種各樣的場景，比如舊轎車、造出一個水下開車的場景、改變了路邊的狀況，比較簡單，在SORA的基礎(chǔ)上通過進(jìn)一步的遷移學(xué)習(xí)就可以派生出更多的視頻，可以豐富對自動駕駛汽車的訓(xùn)練。

　　“把大模型直接嵌入到智能網(wǎng)聯(lián)汽車。生成式大模型本質(zhì)上就是一個數(shù)據(jù)壓縮器，比如說語言大模型ChatGPT訓(xùn)練的數(shù)據(jù)集900TB，可是訓(xùn)練完成以后的模型參數(shù)只有64TB，兩者一比壓縮了14倍，而SORA大模型壓縮了40倍。”

　　    鄔賀銓院士稱，邊緣計算和汽車本身算力也是不足的，但是可以通過進(jìn)一步的壓縮技術(shù)，像模型量化、剪枝、知識蒸餾、低秩適配、結(jié)構(gòu)搜索等進(jìn)一步精簡模型。“只需要汽車做推理，并不需要汽車做訓(xùn)練，就可以把模型進(jìn)一步壓縮。芯片也可以增強。”現(xiàn)在手機的能力，手機上如果有10億級參數(shù)，現(xiàn)在的手機基本上都能做到，有一定的智能，但是不夠的是還需要跟云端協(xié)作?，F(xiàn)在已經(jīng)有千億參數(shù)的手機了，就可以做簡單的智能分析。今年市場上已經(jīng)有130億參數(shù)的手機出售了，單獨手機不需要聯(lián)網(wǎng)就有智能涌現(xiàn)能力，有些公司已經(jīng)宣稱，今年年底以前要推出千億參數(shù)推理能力的手機，遷移參數(shù)手機相當(dāng)于GPT—3的能力了。如果放在汽車上，汽車芯片的能力遠(yuǎn)遠(yuǎn)可以高于手機，所以將來單車智能可以進(jìn)一步提升，可以把汽車變成AI Agent，通過這樣實現(xiàn)汽車的車路城網(wǎng)協(xié)同，不需要連到網(wǎng)上，直接在汽車上智能化處理成本低、時延低，可以讓用戶的隱私數(shù)據(jù)不必上到云上，有高度隱私和個性化的支撐。

　　鄔賀銓院士認(rèn)為，通過人工智能以及5G等能力，可以進(jìn)一步豐富智能座艙，實現(xiàn)人車交互的智能化，提升駕駛的安全性、舒適性、便捷性。比如中控屏、車內(nèi)的娛樂系統(tǒng)，車?yán)锸怯泻艽笤肼暤模F(xiàn)在可以顯著降噪，當(dāng)然可以通過語音識別釋放功能，解放雙手、雙眼，用手勢實現(xiàn)控制自動駕駛等?？梢宰屓斯ぶ悄茏R別交警和行人的手勢。還有抬頭顯示、流媒體后視鏡、駕駛員疲勞駕駛檢測等能力，可以進(jìn)一步豐富。

　　    除了智能座艙當(dāng)然更希望還有智能駕駛。通過大模型加載到汽車上，可以從自主式駕駛輔助到網(wǎng)聯(lián)式駕駛輔助，到人機共駕，以及高度的自動駕駛。比如環(huán)境感知，可以把各類傳感器能力很好地融合起來，感知周邊的信息，并且與路側(cè)聯(lián)動，可以實現(xiàn)對障礙物的檢測等。

　　“有了單車智能還是不夠的，還需要路側(cè)聯(lián)動，路側(cè)感知設(shè)備掛在高桿上，視野更好、覆蓋寬、全天候、無盲區(qū)，可以替代部分車端算力，也可以降低車載算力的要求，連到云上可以得到更好的交通流全局的指導(dǎo)，改善車輛間的協(xié)同性。”鄔賀銓院士說，到去年7月份，中國已經(jīng)安裝了8500多臺路側(cè)RSU，在5000公里道路上實現(xiàn)了智能化手機。“當(dāng)然智能駕駛不限于環(huán)境感知路側(cè)聯(lián)動，還通過分析、決策，可以讓車得到很好的城市管理系統(tǒng)的支撐、幫助、指導(dǎo)。而且通過智慧底盤和汽車軟件，我們也可以很好地感知道路的狀況，反饋給城市道路管理部門，從而可以更好地掌控整個城市的交通流量和管理，有利于城市的運行安全。”

　　最后，鄔賀銓院士表示，當(dāng)前生成式的語言大模型和視頻大模型技術(shù)突破為人工智能成為物理世界的引擎拉開了序幕，將進(jìn)一步增強單車智能和云路智能。5G的廣滲透和5.5G開始商用，推動了C-V2X完善并走向成熟。單車智能和車路網(wǎng)云城智能協(xié)同的5G—V2X車聯(lián)網(wǎng)技術(shù)路線在國際上已經(jīng)取得共識，技術(shù)與產(chǎn)業(yè)正加快發(fā)展。智能網(wǎng)聯(lián)車和新能源車相輔相成，數(shù)字化、網(wǎng)聯(lián)化、智能化、綠色化緊密結(jié)合。車聯(lián)網(wǎng)成為承載新質(zhì)生產(chǎn)力的新興產(chǎn)業(yè)，在國家高質(zhì)量發(fā)展中彰顯了新動能的重任。國家相關(guān)部委也出臺政策鼓勵發(fā)展車聯(lián)網(wǎng)。當(dāng)前需要建立全國統(tǒng)一的車聯(lián)網(wǎng)投資與運營主體，探討商業(yè)模式，促進(jìn)法規(guī)建設(shè)，凝聚產(chǎn)業(yè)鏈相關(guān)方力量，完善車聯(lián)網(wǎng)發(fā)展生態(tài)。