蔚來(lái)NADP+NVIDIA Triton，搭建穩(wěn)定高效的推理平臺(tái)

在近日舉行的 GTC 大會(huì)上,蔚來(lái) AI 平臺(tái)負(fù)責(zé)人白宇利帶來(lái)非常有價(jià)值的分享,他首次對(duì)外透露了蔚來(lái)自研的全棧式自動(dòng)駕駛系統(tǒng)(NAD)的部署和開發(fā)情況,同時(shí)也將蔚來(lái)自動(dòng)駕駛研發(fā)平臺(tái)(NADP)這個(gè)神秘的“Peta Factory”帶到了公眾視野中。

據(jù)了解,NADP是服務(wù)于蔚來(lái)自動(dòng)駕駛核心業(yè)務(wù)方向的研發(fā)平臺(tái),用于開發(fā) NAD 功能。以“Peta”為名是因?yàn)槊枯v車每天能生成 55 petabit 數(shù)據(jù)(1 petabit = 10^6 gigabit = 10^9 megabit = 10^15 bits),而 NADP 是所有流程、工作流、數(shù)據(jù)以及底層軟硬件的組合。NADP 能夠以一站式平臺(tái)管理大量復(fù)雜的 AI 應(yīng)用,并將模型開發(fā)效率提高 20 倍,從而縮短自動(dòng)駕駛汽車的上市周期,開發(fā)出更新、更快的架構(gòu)。

在模型訓(xùn)練、測(cè)試和部署的過程中,為了確保新改進(jìn)能夠切實(shí)地解決相應(yīng)問題,且不會(huì)引發(fā)任何新問題, NADP 需要執(zhí)行 10 萬(wàn)項(xiàng)推理任務(wù),包括數(shù)據(jù)挖掘、仿真和回歸測(cè)試。經(jīng)過眾多方案的對(duì)比和篩選,蔚來(lái)選用了NVIDIA Triton 推理服務(wù)器作為核心組件,構(gòu)建了 NADP 的高性能推理服務(wù)。

NVIDIA Triton 推理服務(wù)器是 NVIDIA AI 平臺(tái)的一部分,它是一款開源推理服務(wù)軟件,可助力標(biāo)準(zhǔn)化模型的部署和執(zhí)行,并在生產(chǎn)環(huán)境中提供快速且可擴(kuò)展的 AI。

Triton 推理服務(wù)器可助力團(tuán)隊(duì)在任意基于 GPU 或 CPU 的基礎(chǔ)設(shè)施上部署、運(yùn)行和擴(kuò)展任意框架中經(jīng)過訓(xùn)練的 AI 模型,進(jìn)而精簡(jiǎn) AI 推理。同時(shí),AI 研究人員和數(shù)據(jù)科學(xué)家可在不影響生產(chǎn)部署的情況下,針對(duì)其項(xiàng)目自由選擇合適的框架。它還幫助開發(fā)者跨云、本地、邊緣和嵌入式設(shè)備提供高性能推理。

正如白宇利在分享中提到:“我們基于 NVIDIA Triton 推理服務(wù)器構(gòu)建了高性能推理服務(wù)。此服務(wù)非常適用于 NADP,并可輕松集成模型倉(cāng)庫(kù)、工作流、Jupyter、Prometheus 和許多其他組件,從而簡(jiǎn)化 AI 推理。Triton 讓編排和擴(kuò)展變得更輕松,還能將推理速度提高至 6 倍,并可節(jié)省 24% 的資源。”

蔚來(lái)基于 NVIDIA Triton 搭建的推理服務(wù)平臺(tái),在數(shù)據(jù)挖掘業(yè)務(wù)場(chǎng)景下,通過服務(wù)器端模型前處理和多模型 DAG 式編排,GPU 資源平均節(jié)省 24%;在部分核心 pipeline上,吞吐能力提升為原來(lái)的 5 倍,整體時(shí)延降低為原來(lái)的 1/ 6。

Triton 在設(shè)計(jì)之初,就融入了云原生的設(shè)計(jì)思路,為后面逐步圍繞 Triton 搭建完整的云原生平臺(tái)性推理解決方案提供了相當(dāng)大的便利。

作為 NADP 推理平臺(tái)的核心組件,Triton 與 NADP 的各個(gè)組件形成了一套完整的推理一站式解決方案。從集成效率、高性能、易用性、高可用四方面,在 NADP 推理平臺(tái)中提供助力。

目前,NADP 數(shù)據(jù)挖掘業(yè)務(wù)下的相關(guān)模型預(yù)測(cè)服務(wù)已經(jīng)全部遷移至 Triton 推理服務(wù)器,為上百個(gè)模型提供了高吞吐預(yù)測(cè)能力。同時(shí)在某些任務(wù)基礎(chǔ)上,通過自實(shí)現(xiàn)前處理算子、前后處理服務(wù)化、BLS 串聯(lián)模型等手段,將一些模型任務(wù)合并起來(lái),極大的提升了處理效率。

NVIDIA Triton 推理服務(wù)器支持所有主要模型框架( TensorFlow、PyTorch、TensorRT、XGBoost、ONNX、OpenVINO、Python 等),可用于在 x86 和 Arm CPU、NVIDIA GPU 和 AWS Inferentia 上運(yùn)行模型。

目前,NVIDIA Triton 正在被全世界各行各業(yè)數(shù)以千計(jì)的組織使用,用于解決人工智能推理挑戰(zhàn)。包括:阿里云、Amazon Elastic Kubernetes Service (EKS)、Amazon Elastic Container Service (ECS)、Amazon SageMaker、Google Kubernetes Engine (GKE)、Google Vertex AI、HPE Ezmeral、Microsoft Azure Kubernetes Service (AKS) 和 Azure Machine Learning 都在使用 NVIDIA Triton進(jìn)行AI推理和模型部署。

更多詳情,請(qǐng)查看NVIDIA開發(fā)者博客,查看完整版案例介紹《NADP + Triton搭建穩(wěn)定高效的推理平臺(tái)》。

關(guān)于 NVIDIA

自1993年成立以來(lái),NVIDIA (NASDAQ: NVDA) 一直是加速計(jì)算領(lǐng)域的先驅(qū)。NVIDIA 1999年發(fā)明的GPU驅(qū)動(dòng)了PC游戲市場(chǎng)的增長(zhǎng),并重新定義了現(xiàn)代計(jì)算機(jī)圖形,開啟了現(xiàn)代AI時(shí)代。NVIDIA現(xiàn)在是一家全棧計(jì)算公司,其數(shù)據(jù)中心規(guī)模的產(chǎn)品正在重塑整個(gè)行業(yè)。