在車端AI計算平臺方面，軟件定義汽車意味著計算平臺設(shè)計必須考慮為將來3~5年甚至更長時間的軟件功能升級需求預(yù)留足夠的算力，為滿足未來幾年自動駕駛或者艙駕融合產(chǎn)品更高AI算力的需求，NVIDIA將于2024年為量產(chǎn)客戶提供是全球首款單芯片1000 TFLOPS FP8 AI算力 的DRIVE AGX Thor AI車端計算平臺。

2023年9月22日，在2023第三屆智能汽車域控制器與中央計算平臺創(chuàng)新峰會上，NVIDIA自動駕駛軟件總監(jiān)馮棟棟表示，NVIDIA DRIVE是為軟件定義汽車推出的端到端平臺，包括DRIVE DRIVE AGX AI計算平臺, DRIVE OS軟件平臺、DRIVE Hyperion數(shù)據(jù)采集和開發(fā)套件 、DRIVE Constellation虛擬仿真平臺和DGX高性能AI訓(xùn)練服務(wù)器。NVIDIA將會為更安全、高效的自動駕駛和艙駕融合產(chǎn)品提供更高性能的AI計算平臺。

馮棟棟｜NVIDIA自動駕駛軟件總監(jiān)

以下為演講內(nèi)容整理:

AI是汽車行業(yè)新的驅(qū)動力

隨著近幾年網(wǎng)絡(luò)模型復(fù)雜性的不斷增加和模型參數(shù)的爆發(fā)式增長，AI應(yīng)用提出了更高的算力要求，AI計算平臺作為基礎(chǔ)設(shè)施對數(shù)據(jù)中心端和車端艙駕跨域融合產(chǎn)品創(chuàng)新起著十分關(guān)鍵的作用。

NVIDIA在1999年推出了GPU圖形處理器激發(fā)了PC游戲市場的增長，重新定義了現(xiàn)代計算機圖形。近幾年，數(shù)百TB 數(shù)據(jù)的深度推薦系統(tǒng)和包含數(shù)千億參數(shù)的對話式AI大模型對數(shù)據(jù)中心端提出了更高的算力需求，我們推出了讓大型模型能夠快速訪問大型內(nèi)存池的 Grace CPU 以及CPU+GPU 緊密結(jié)合的新架構(gòu)。NVIDIAGrace? CPU 提供高性能、高能效的計算資源，以滿足不同的數(shù)據(jù)中心和高性能計算機需求。NVIDIA Grace CPU 超級芯片采用NVLink - C2C 技術(shù)，可提供144 個ARM核和1 TB/s 的內(nèi)存帶寬。

NVIDIA Grace Hopper? 超級芯片將Grace CPU和Hopper 架構(gòu)GPU與NVIDIA NVLink? - C2C 相結(jié)合，為加速AI 和高性能計算 應(yīng)用提供 CPU + GPU 一致性內(nèi)存模型。NVIDIA BlueField? DPU (數(shù)據(jù)處理器)實現(xiàn)對各種高級網(wǎng)絡(luò)、存儲和安全服務(wù)進行加速和隔離。NVIDIASmartNIC產(chǎn)品ConnectX-7提供多達4 個連接端口和400Gb/s 的吞吐量，可為AI 企業(yè)提供接近數(shù)據(jù)中心規(guī)模的硬件加速網(wǎng)絡(luò)、存儲、安全和管理服務(wù)。NVIDIA QuantumInfiniBand 交換機系列是為HPC和數(shù)據(jù)中心提供完整的交換機系統(tǒng)和網(wǎng)絡(luò)管理產(chǎn)品組合。

此外我們還提供車端AI 計算SOC 產(chǎn)品， 比如大家都比較熟悉的滿足Automotive 行業(yè)的 DRIVE Orin 和DRIVE Thor SOC 。

圖源:嘉賓演講素材

我們把NVIDIA GPU、CPU、DPU、NIC、Switch 和SOC 產(chǎn)品進行組合提供更多的AI 計算平臺產(chǎn)品，包括服務(wù)于高性能AI數(shù)據(jù)中心的DGX、提供高性能計算機領(lǐng)域的HGX、服務(wù)邊緣端的EGX、提供Omniverse Cloud 服務(wù)的OVX以及支持自動駕駛和艙駕融合產(chǎn)品的DRIVE AGX AI計算平臺。

在這些硬件平臺之上，我們持續(xù)迭代開發(fā)了很多軟件棧，比如CUDA并行計算和編程模型，CUDA-X AI 軟件加速庫集合，TensorRT?AI推理引擎和RTX光追加速?庫。在CUDA、CUDA-X、TensorRT?和RTX?的基礎(chǔ)上，我們推出了NVIDIA AI和NVIDIA Omniverse兩大平臺，在這些平臺上我們?yōu)楦餍袠I(yè)提供了豐富的AI框架和應(yīng)用，包括極端天氣預(yù)測和能源公司的數(shù)字孿生模擬、視頻會議分析、對話式AI、虛擬數(shù)字人、汽車自動駕駛平臺和艙駕融合平臺、機器人、虛擬數(shù)字工廠、AI視頻分析、醫(yī)療設(shè)備開發(fā)和部署等。

NVIDIA GenerativeAI和Omniverse 平臺已經(jīng)在多個行業(yè)中廣泛應(yīng)用，NVIDIA Omniverse是一個工業(yè)數(shù)字化平臺。我們的多個OEM客戶基于GenerativeAI和Omniverse構(gòu)建自己的產(chǎn)品。比如通過我們的Omniverse進行汽車概念設(shè)計、造型設(shè)計和工程設(shè)計、軟件和電子設(shè)計、智慧工廠產(chǎn)線、自動駕駛仿真測試和汽車零售數(shù)字化體驗等。汽車行業(yè)之所以積極實施數(shù)字化是因為GenerativeAI和Omniverse可以幫助提高行業(yè)的效率、生產(chǎn)力并節(jié)省了大量的成本。

圖源:嘉賓演講素材

基于GenerativeAI以及Omniverse，我們的OEM客戶可以通過數(shù)字化實現(xiàn)全球協(xié)作，分布在全球不同區(qū)域的設(shè)計師和藝術(shù)家可以協(xié)同工作進行設(shè)計方案圖像生成，外觀造型定制化和快速設(shè)計迭代。

客戶還可以部署自己的數(shù)字工廠進行配置，也可以通過Omniverse生成工廠的仿真數(shù)據(jù)來訓(xùn)練工廠機器人。另外，通過Omniverse可以實現(xiàn)數(shù)字工廠的流程優(yōu)化和產(chǎn)線部署。

我們的客戶BMW使用Omniverse來規(guī)劃全球近36家工廠的運營，在2023年3月NVIDIA GTC上宣布了他們的首座數(shù)字工廠開業(yè)，該實體工廠將于2025年在匈牙利開業(yè)，通過數(shù)字化幫助OEM提前兩年規(guī)劃部署工廠。同時，BMW在Omniverse中使用NVIDIA Isaac Sim生成一些仿真數(shù)據(jù)對工廠機器人和機械手臂進行相應(yīng)的訓(xùn)練和仿真測試。

梅賽德奔馳基于Omniverse構(gòu)建數(shù)字工廠，優(yōu)化和規(guī)劃未來新車型產(chǎn)線部署。沃爾沃和通用汽車通過Omniverse管理整個3D資產(chǎn)管道，連接他們的設(shè)計師、藝術(shù)家以及雕塑家來創(chuàng)建3D組件，并將這些3D組件虛擬地組裝成汽車的數(shù)字孿生體。在工程和仿真中通過Omniverse實現(xiàn)了可視化的空氣動力學(xué)的仿真，從而縮短設(shè)計時間。豐田正在使用Omniverse來建立虛擬工廠，以優(yōu)化生產(chǎn)時間。 Lotus 正在使用Omniverse來搭建虛擬工廠和虛擬設(shè)計焊接站。Lucid Motors使用Omniverse基于真實的汽車設(shè)計數(shù)據(jù)建立數(shù)字商店，提升銷售服務(wù)體驗。

圖源:嘉賓演講素材

隨著近幾年自動駕駛越來越熱，我們的客戶已經(jīng)將NVIDIAAI計算平臺用在乘用車Robotaxis、卡車、低速物流車、無人巴士和農(nóng)用車領(lǐng)域上，我們相信在未來自動駕駛技術(shù)將會應(yīng)用于更多的細(xì)分領(lǐng)域市場和應(yīng)用場景。過去燃油車時代，發(fā)動機的馬力代表著動力；當(dāng)前 AI 時代，AI計算平臺的算力將成為軟件定義汽車新的驅(qū)動力。我們認(rèn)為，在未來，汽車不再是單純的交通工具，客戶期望的汽車形態(tài)將是由軟件定義的汽車。

高性能AI計算平臺在自動駕駛的感知、建圖，規(guī)劃和決策方面都發(fā)揮著重要的作用。尤其是隨著Transformer 和BEV 在解決感知任務(wù)方面日趨成熟，并展現(xiàn)出卓越的性能。 這也是我們?yōu)槭裁匆恢敝铝τ谘邪l(fā)更高性能DRIVE Thor AI 計算平臺和DRIVE OS 7 軟件平臺來滿足未來幾年自動駕駛和艙駕融合產(chǎn)品的對更高AI 算力需求。

在自動駕駛的整個開發(fā)過程中，業(yè)界十分關(guān)注自動駕駛Cornercase的場景如何解決。針對這一點，很多OEM都在部署相應(yīng)的仿真測試。大家普遍認(rèn)為自動駕駛仿真有兩大挑戰(zhàn)。第一是如何生成一個具有足夠細(xì)節(jié)和真實的仿真場景，能夠讓自動駕駛AI算法將仿真場景感知為真實的世界。第二是如何生成創(chuàng)建足夠大的數(shù)據(jù)集和場景集合，以覆蓋到自動駕駛AI算法所需要的全面訓(xùn)練和測試的case。

圖源:嘉賓演講素材

為了應(yīng)對這些挑戰(zhàn)，我們開發(fā)了基于AI的工具集，包括Neural Reconstruction Engine?， Omniverse Replicator? 和DRIVE SIM?.

Neural Reconstruction Engine?，可以將真實世界的數(shù)據(jù)直接帶入仿真環(huán)境中，大大增加真實感并加快仿真數(shù)據(jù)的生產(chǎn)速度。也就是說可從采集視頻數(shù)據(jù)自動的提取出環(huán)境、3D資源和場景然后轉(zhuǎn)換為交互式 3D 測試環(huán)境，開發(fā)者可在此環(huán)境中修改場景、添加合成對象 ，并應(yīng)用隨機化技術(shù)，使仿真場景更具挑戰(zhàn)性。

NVIDIA Omniverse Replicator?主要用來生成訓(xùn)練數(shù)據(jù)，借助Replicator?，開發(fā)者可以為corner case和復(fù)雜場景創(chuàng)建多樣化的合成數(shù)據(jù)集，包括基于物理傳感器數(shù)據(jù)和像素準(zhǔn)確的真值標(biāo)簽。這些標(biāo)簽包括深度、速度、遮擋和其他難以標(biāo)記的參數(shù)。我們的DRIVE Sim能夠?qū)I的算法進行軟件的在環(huán)測試。

基于生成式AI，我們可以很方便的對構(gòu)建出來的原始3D資源進行多樣化處理和編輯更改。比如針對交通路牌的2D文字，可以通過Neural Reconstruction Engine?增加涂鴉或者生成鐵銹斑點等等，用這些生成數(shù)據(jù)來訓(xùn)練感知網(wǎng)絡(luò)和測試驗證。

NVIDIA DRIVE AI計算平臺

在智能座艙交互體驗方面，我們做了許多創(chuàng)新的應(yīng)用。我們基于AI可以實現(xiàn)個人的數(shù)字助理以及推薦系統(tǒng)。比如通過AI數(shù)字人助理問答行駛過程中的非常見交通指示牌、AI數(shù)字人助理主動提醒日程安排，以及通過DMS 系統(tǒng)探測到駕駛員疲勞而進行咖啡店或者休息區(qū)推薦。

在自動駕駛的開發(fā)過程中，通常要求端到端的數(shù)據(jù)閉環(huán)，包括數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)標(biāo)注、AI模型訓(xùn)練，再把訓(xùn)練后的模型部署在車端進行相應(yīng)的行車、泊車、主動安全，座艙AI的應(yīng)用的測試驗證，以及基于SIL和HIL仿真測試。

為了賦能我們的客戶更加高效開發(fā)自動駕駛以及艙駕融合產(chǎn)品來實現(xiàn)軟件定義汽車，我們推出靈活可擴展的NVIDIA DRIVE 端到端平臺方案。DRIVE Hyperion 是NVIDIA 自動駕駛數(shù)據(jù)采集和開發(fā)套件，該套件包含NVIDIA DRIVE AGX 計算平臺、主流傳感器。同時，集成DRIVE OS軟件平臺 、Driveworks中間件及數(shù)據(jù)采集相關(guān)的軟件。 我們的客戶、合作伙伴可以基于DRIVE Hyperion 開發(fā)套件快速搭建自動駕駛數(shù)據(jù)采集車和測試車輛，從而進行多傳感器數(shù)據(jù)采集和自動駕駛算法測試驗證。

DGX 是NVIDIA 為DNN 模型訓(xùn)練提供的高性能AI服務(wù)器。DGX?服務(wù)器，提供超高的計算密度、計算性能和靈活性。DGX?集成8 個NVIDIA 高性能Tensor Core GPU，每個GPU 配備NVIDIA? NVLink?，GPU 之間的雙向帶寬高達900GB/s。每臺DGX集成4個NVIDIA NvSwitch?；贒GX這些優(yōu)勢，用多臺DGX 結(jié)合NVIDIA DGX SupperPOD? 、NVIDIA BlueField?-3DPU及NVIDIA Base Command?可以構(gòu)建超級計算機或者AI 集群。為具有挑戰(zhàn)性的自動駕駛海量數(shù)據(jù)進行DNN模型訓(xùn)練和建圖提供靈活可擴展的AI計算性能。

DRIVE Constellation? 虛擬仿真平臺可以幫助客戶在自動駕駛汽車上路測試之前虛擬仿真幾乎所有的天氣環(huán)境、交通場景，道路場景和Corner Case，從而實現(xiàn)DNN模型和算法的仿真測試。DRIVE Constellation 系統(tǒng)由Simulator和Computer兩臺設(shè)備構(gòu)成，提供虛擬仿真功能和數(shù)據(jù)回放功能。

經(jīng)過仿真測試后的DNN模型和算法，可以部署在 DRIVE AGX Orin 或者DRIVE AGX Thor 車端平臺進行相應(yīng)的自動駕駛功能道路測試和驗證。自動駕駛車輛功能道路測試的過程中也可以進行傳感器數(shù)據(jù)采集，因此，基于NVIDIA DRIVE 平臺進行數(shù)據(jù)采集、數(shù)據(jù)訓(xùn)練，虛擬仿真，自動駕駛道路測試驗證就形成了一個數(shù)據(jù)閉環(huán)。

圖源:嘉賓演講素材

2018年我們推出了全球首款1 TOPS AI計算芯片Parker；2020年成功量產(chǎn)30TOPS芯片DRIVE Xavier；2022年成功量產(chǎn)254TOPS 并且符合功能安全的 DRIVE Orin芯片， DRIVE Orin相比DRIVE Xavier AI 推理性能提升8倍多。為了滿足未來幾年OEM和Tier1對更高算力AI計算芯片的需求，2024年將量產(chǎn)全球首款單芯片1000 TFLOPS的AI推理能力芯片DRIVE Thor。

圖源:嘉賓演講素材

目前還有很多車型在用分布式的電子電氣架構(gòu)，未來幾年大家將關(guān)注如何實現(xiàn)集中式架構(gòu)或中央架構(gòu)。為了滿足集中式架構(gòu)和中央架構(gòu)，我們正在研發(fā)DRIVE Thor計算平臺。DRIVE Thor是高性能集中式車載計算芯片，包含770億個晶體管，單芯片提供1000TFLOPSFP8精度的AI推理能力，并且集成了下一代Transformer引擎，能夠更好的支持Transformer 大模型推理。Transformer 引擎支持FP8 和FP16混合精度，從而減少內(nèi)存占用并提高性能，同時仍能保持大型模型的準(zhǔn)確性。

圖源:嘉賓演講素材

DRIVE Thor SOC 既支持高階自動自動駕駛，也支持艙駕融合產(chǎn)品需求。為更好地解決艙駕融合產(chǎn)品功能安全域和非功能安全域的GPU隔離問題，DRIVE Thor 支持MIG 隔離技術(shù)，把不同GPC 隔離開并分配給自動駕駛域和座艙域使用。另外，我們把用于數(shù)據(jù)中心產(chǎn)品的NVLink-C2C技術(shù)首次引入到車端AI計算芯片DRIVE Thor。NVLink-C2C互連技術(shù)可提供統(tǒng)一的，緩存一致性的內(nèi)存地址空間，從而能夠簡化可編程性。基于NVLink-C2C實現(xiàn)的DRIVE Thor Supper Chip可提供2000 TOPS FP8 AI 推理能力。

NVIDIA DRIVE OS軟件平臺

目前，我們在全球已經(jīng)有40多個客戶基于DRIVE Orin平臺開發(fā)自動駕駛產(chǎn)品，20多個OEM已經(jīng)成功量產(chǎn)交付。為了讓當(dāng)前DRIVE Orin平臺上客戶開發(fā)的應(yīng)用軟件和算法能平滑遷移到DRIVE Thor平臺和DRIVEOS7上，我們提供統(tǒng)一軟件架構(gòu)和API兼容。

對有功能安全需求的客戶，我們提供的符合功能安全的并且通過第三方權(quán)威機構(gòu) TUV SUD 認(rèn)證的DREIVE OS QNX 給客戶。我們通過CUDA 生態(tài)系統(tǒng)提供大量的CUDA 算子庫，幫助客戶加速自動駕駛軟件的開發(fā)。此外，我們還提供DNN模型訓(xùn)練DGX AI服務(wù)器和數(shù)據(jù)中心產(chǎn)品。

基于艙駕融合產(chǎn)品的需求，我們正在研發(fā)DRIVE OS 7，DRIVE OS 7 將最大化沿用現(xiàn)有DRIVE OS 6的架構(gòu)，在現(xiàn)有虛擬化架構(gòu)上增加對儀表域和Infotainment域的支持，儀表域支持Linux或QNXOS，Infotainment域支持AndroidAutomotive，智駕域支持Linux或QNXOS?；贒RIVE OS 7靈活可配置的架構(gòu)，可以很方便的配置多種OS配置組合，滿足不同客戶的需求。

DIRVE OS 7最大化兼容DRIVE OS 6 軟件平臺的NvMedia、Nvstreams、CUDA和TensorRT SDK功能和接口。OEM 、Tier 1 和算法公司基于DRIVE Orin 計算平臺開發(fā)的自動駕駛和艙駕融合軟件可以高效、快速地遷移到DRIVE Thor計算平臺DRIVE OS 7 軟件平臺。

NvMedia實現(xiàn)Camera Image Capture、Image 2D process、ISP Processing 、Camera data encode/decode以及camera image pipeline的搭建。

NvStreams 高效地在CPU、GPU、可編程視覺加速器PVA之間共享Image data buffer， 并處理同步控制數(shù)據(jù)流以及在多個硬件加速引擎之間的數(shù)據(jù)依賴。

TensorRT是NVIDIA高性能深度學(xué)習(xí)推理平臺，包括AI實時推理引擎和優(yōu)化工具。訓(xùn)練好的AI模型可以使用TensorRT Optimizer進行網(wǎng)絡(luò)層優(yōu)化和量化，然后生成TensorRT Runtime Engine 并部署到DRIVE Orin或者DRIVE Thor 車端計算平臺進行實時AI Inference。

CUDA是NVIDIA GPU上開發(fā)的用于通用計算的并行計算平臺和編程模型。NVIDIA 2006年發(fā)布CUDA以來，CUDA 已經(jīng)被廣泛部署到高性能計算機，數(shù)據(jù)中心，工作站，電腦，IOT 邊緣設(shè)備和自動駕駛汽車。2021 年CUDA下載量達到8百萬次，全球的開發(fā)者超過3百萬人。

NVIDIA DRIVE 是我們?yōu)檐浖x汽車推出的端到端平臺，包括DRIVE DRIVE AGX AI 計算平臺、DRIVE OS 軟件平臺、DRIVE Hyperion 數(shù)據(jù)采集和開發(fā)套件、DRIVE Constellation虛擬仿真平臺和DGX高性能AI訓(xùn)練服務(wù)器。另外，NVIDIA Omniverse 平臺也可以幫助OEM 在汽車概念、造型設(shè)計、工程設(shè)計、智慧工廠產(chǎn)線部署和零售體驗方面降本增效。

我們已經(jīng)在各個層面與行業(yè)內(nèi)的乘用車，商用車主機廠，Tire 1，算法供應(yīng)商，合作伙伴展開深度合作。NVIDIA將繼續(xù)為更安全、更高效的自動駕駛和艙駕融合產(chǎn)品提供集中式高性能AI計算平臺。

鄭重聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，目的在于傳播更多信息，與本站立場無關(guān)。僅供讀者參考，并請自行核實相關(guān)內(nèi)容。