未來駕駛革命：2023中國(guó)智駕大模型應(yīng)用研究報(bào)告

目前，智駕大模型沒有一個(gè)公允定義，并且產(chǎn)學(xué)研不同領(lǐng)域的專家對(duì)智駕大模型的定義也不一樣，但結(jié)合各專家的觀點(diǎn)來看，智駕大模型具備多模態(tài)輸入、自監(jiān)督學(xué)習(xí)、端到端學(xué)習(xí)范式以及大規(guī)模參數(shù)的特征。但是，相比于通用類大模型，智駕大模型的主要差異在于：部署難度高、數(shù)據(jù)維度廣以及模型設(shè)計(jì)復(fù)雜。

• 億歐智庫認(rèn)為，智駕大模型指的是在云邊端一體化的架構(gòu)下，利用云端算力優(yōu)勢(shì)訓(xùn)練大規(guī)模多模態(tài)數(shù)據(jù)，然后再結(jié)合邊端的計(jì)算能力，通過多任務(wù)的學(xué)習(xí)和分布式訓(xùn) 練為車輛提供更有效的感知融合效果與實(shí)時(shí)建圖方案，最終讓車端實(shí)現(xiàn)與人類司機(jī)行為和思維一致的感知、預(yù)測(cè)、規(guī)劃等能力。

• 智駕大模型最重要的應(yīng)用是數(shù)據(jù)閉環(huán)，相比于傳統(tǒng)數(shù)據(jù)閉環(huán)而言，當(dāng)前的數(shù)據(jù)閉環(huán)對(duì)自動(dòng)駕駛系統(tǒng)賦能最多的主要是數(shù)據(jù)挖掘、自動(dòng)標(biāo)注、模型訓(xùn)練、仿真測(cè)試四個(gè) 應(yīng)用方向。從感知側(cè)的數(shù)據(jù)采集開始，會(huì)先根據(jù)篩選器的設(shè)置來進(jìn)行數(shù)據(jù)挖掘，隨后通過自動(dòng)化標(biāo)注來對(duì)數(shù)據(jù)打標(biāo)簽，再對(duì)原模型反復(fù)訓(xùn)練并經(jīng)過仿真測(cè)試后，最后 對(duì)車端小模型進(jìn)行優(yōu)化，在經(jīng)過反復(fù)地不斷迭代循環(huán)后，使得整個(gè)數(shù)據(jù)閉環(huán)能力能夠不斷提升。

• 對(duì)于已布局或正將布局的企業(yè)，智駕大模型玩家主要可分為四類，其中新勢(shì)力主機(jī)廠以自研為主，而傳統(tǒng)主機(jī)廠持有保守觀望的態(tài)度；科技企業(yè)憑借強(qiáng)大的AI技術(shù)背 景和資本實(shí)力，構(gòu)建了以云服務(wù)為基礎(chǔ)的垂直服務(wù)體系；Tier1以自研基于BEV感知的垂域大模型為主；芯片企業(yè)主要是優(yōu)化芯片的開發(fā)生態(tài)，以便客戶能在自家芯片 上更容易地部署B(yǎng)EV+Transformer等大規(guī)模參數(shù)的模型。

2021年，特斯拉提出了BEV+Transformer的大模型，該模型也成為了之后國(guó)內(nèi)玩家布局大模型的基礎(chǔ)。至2023年，智駕相關(guān)大模型開始大量出現(xiàn)， 如華為盤古大模型、百度文心大模型、毫末DriveGPT等。

從多傳感器的融合趨勢(shì)來看，目標(biāo)級(jí)融合（后融合）是當(dāng)前行業(yè)內(nèi)主流的融合方案，雖然算法開發(fā)難度較低，但融合精度較低、關(guān)鍵信息易缺失， 不適合未來融合趨勢(shì)的發(fā)展。數(shù)據(jù)級(jí)融合（前融合）是行業(yè)發(fā)展的目標(biāo)，但技術(shù)壁壘高，短期內(nèi)方案落地較難。所以，在不丟失關(guān)鍵信息的基礎(chǔ)上， 特征級(jí)融合（中融合）成為了一種合適的中間過渡形態(tài)，也更適合在當(dāng)前流行的Bev+Transformer模型架構(gòu)下，實(shí)現(xiàn)大規(guī)模多模態(tài)數(shù)據(jù)的融合。

基于規(guī)則算法的目標(biāo)級(jí)融合方案，只能識(shí)別出目標(biāo)物的部分特征，甚至?xí)�出現(xiàn)無法識(shí)別目標(biāo)物的情況，導(dǎo)致在最終融合結(jié)果上出現(xiàn)誤報(bào)、漏報(bào)等情 況。相反，基于BEV+Transformer的特征級(jí)融合方案，可以通過注意力機(jī)制提取目標(biāo)物特征，并在鳥瞰圖下“腦補(bǔ)”出完整的目標(biāo)物信息，有利 于提高整體感知融合精度。

附件：未來駕駛革命：2023中國(guó)智駕大模型應(yīng)用研究報(bào)告