“多模態(tài)大模型”AI安全員：實(shí)時(shí)處理圖像數(shù)據(jù)，識(shí)別危險(xiǎn)場(chǎng)景

多模態(tài)大模型是人工智能技術(shù)的一個(gè)關(guān)鍵進(jìn)步，它將文本、圖像、音頻、視頻等多種數(shù)據(jù)形式整合進(jìn)統(tǒng)一的框架中，具備跨模態(tài)理解與生成能力，能夠執(zhí)行圖像描述、視覺問答、視頻生成等多種任務(wù)。依靠先進(jìn)的多模態(tài)大模型技術(shù)，無人駕駛中的 AI 安全員能夠?qū)囕v運(yùn)行過程中的相機(jī)圖像進(jìn)行實(shí)時(shí)處理與分析，識(shí)別出車輛行駛時(shí)遇到的危險(xiǎn)場(chǎng)景和異常情況，為無人駕駛提供安全保障。

算法難以100%覆蓋的長(zhǎng)尾場(chǎng)景，AI安全員從容應(yīng)對(duì)

無人駕駛車輛行駛過程中，除了需要與常規(guī)的交通參與者產(chǎn)生交互，還需要應(yīng)對(duì)稀有而復(fù)雜的長(zhǎng)尾場(chǎng)景。它們的發(fā)生概率很低，但一旦出現(xiàn)，會(huì)對(duì)自動(dòng)駕駛系統(tǒng)帶來巨大挑戰(zhàn)。仙途智能無人駕駛清掃車作業(yè)時(shí)通常會(huì)貼邊行駛，常見的長(zhǎng)尾場(chǎng)景包括不規(guī)則的路面坑洞、臨時(shí)的施工區(qū)域、偶發(fā)的交通事故等。

長(zhǎng)尾場(chǎng)景之所以重要，是因?yàn)樗鼈兇砹俗詣?dòng)駕駛系統(tǒng)必須能夠應(yīng)對(duì)的罕見但危險(xiǎn)的情況。對(duì)于人類駕駛員來說，處理這些邊緣情況往往基于直覺和多年的經(jīng)驗(yàn)積累。對(duì)于自動(dòng)駕駛系統(tǒng)來說，為了在遇到這些罕見情況時(shí)仍能安全地操控車輛，需要大量的數(shù)據(jù)和復(fù)雜的算法來模擬人類的決策過程。但由于現(xiàn)實(shí)世界復(fù)雜多變，算法難以 100% 覆蓋全部場(chǎng)景，此時(shí)就需要 AI 安全員介入，利用與人類相似的知識(shí)與經(jīng)驗(yàn)理解場(chǎng)景、保證安全。

AI安全員應(yīng)用實(shí)例：理解場(chǎng)景，給出建議

仙途智能基于歷史接管數(shù)據(jù)與閉環(huán)仿真數(shù)據(jù)，利用大模型標(biāo)注與人工對(duì)齊，構(gòu)建了決策規(guī)劃的異常數(shù)據(jù)集。在仙途智能常態(tài)化運(yùn)營(yíng)真實(shí)數(shù)據(jù)的不斷充實(shí)下，多模態(tài)大模型的AI安全員將能夠更加準(zhǔn)確地理解場(chǎng)景并給出駕駛建議。

來看幾個(gè)實(shí)例。綠色框線代表無人駕駛車輛的規(guī)劃軌跡（Planning Trajectory），紅色框線代表無人車的關(guān)注區(qū)域（Region of Interest）。左上角黑色框線中的內(nèi)容代表AI安全員對(duì)當(dāng)前場(chǎng)景的理解和判斷，包括天氣情況、場(chǎng)景標(biāo)簽、駕駛建議等。

仙途智能AI安全員場(chǎng)景實(shí)例案例集錦

突然發(fā)生的交通事故

無人駕駛清掃車正沿右側(cè)輔道執(zhí)行左貼邊作業(yè)。雨后路面濕滑，外賣騎手在高速行駛時(shí)突然滑倒，非常危險(xiǎn)。系統(tǒng)提示交通事故（Traffic Accident）狀態(tài)碼，并預(yù)警可能需要遠(yuǎn)程介入。所幸騎手無大礙，緩慢起身，系統(tǒng)提示減速慢行，小心行駛。

臨時(shí)交通管制及施工區(qū)域通行

無人駕駛車輛輔道作業(yè)過程中，同時(shí)遇到輔道地面施工及主道高空作業(yè)，交警上前疏導(dǎo)交通。系統(tǒng)提示交警管控（Traffic Police Control）及施工區(qū)域（Construction Area）狀態(tài)碼，并預(yù)警可能需要遠(yuǎn)程介入。在遠(yuǎn)程運(yùn)營(yíng)的協(xié)助下，無人駕駛清掃車從主道第二車道繞行。

應(yīng)急車輛交互

無人駕駛車輛正沿快速路輔路右側(cè)執(zhí)行貼邊清掃任務(wù)，一輛閃爍警示燈的救護(hù)車突然出現(xiàn)在視野中并停靠在路邊，代表著附近存在人員傷病的緊急情況。系統(tǒng)給出應(yīng)急車輛（Emergency Vehicles）狀態(tài)碼，提示需要遠(yuǎn)程介入，同時(shí)在確保安全的情況下，車輛減速避讓并變道繞行。

弱勢(shì)道路使用者交互

無人駕駛清掃車正沿右側(cè)輔道執(zhí)行無人清掃作業(yè)，由于道路右側(cè)的臨停機(jī)動(dòng)車，輔道十分狹窄，僅容一輛車通行。此時(shí)發(fā)現(xiàn)左側(cè)有孩童和蹲坐的行人，系統(tǒng)提示高風(fēng)險(xiǎn)行人（High-Risk Pedestrians）狀態(tài)碼，表示需要減速慢行并預(yù)警可能需要遠(yuǎn)程介入。在高精度的感知和規(guī)劃下，無人駕駛清掃車略微向右避開行人緩慢通過。

AI的安全托底：人類遠(yuǎn)程安全員多途徑輔助脫困

部分緊急和極端場(chǎng)景下，AI安全員將給出請(qǐng)求遠(yuǎn)程介入的通知指令，主動(dòng)告知人類遠(yuǎn)程安全員。遠(yuǎn)程安全員可以通過高清視頻流（前視角及環(huán)視角實(shí)時(shí)畫面）和實(shí)時(shí)傳感器數(shù)據(jù)（高精地圖、各類障礙物識(shí)別、路徑規(guī)劃等）獲取車輛周邊環(huán)境信息，使用多種挪車方式輔助車輛脫困。目前，仙途智能無人駕駛車輛已支持基于遠(yuǎn)程運(yùn)營(yíng)系統(tǒng)的參考線挪車、方向盤挪車、APP挪車和駕駛艙挪車，為車輛提供在緊急和極端場(chǎng)景下的安全托底和額外保障。

遠(yuǎn)程輔助駕駛系統(tǒng)操作界面

云端大模型作為AI安全員的使用，極大程度提升了無人駕駛車輛針對(duì)長(zhǎng)尾場(chǎng)景的識(shí)別和理解能力，提高人類遠(yuǎn)程安全員的工作效率，為遠(yuǎn)程1vN規(guī)模的不斷擴(kuò)大夯實(shí)技術(shù)基石，全面擴(kuò)展仙途智能全球化商業(yè)版圖。

未來，仙途智能將以更加開放的姿態(tài)，不斷吸納整合前沿人工智能技術(shù)和算法，通過持續(xù)創(chuàng)新突破，全方位提升無人駕駛技術(shù)的安全性與穩(wěn)定性，為無人駕駛技術(shù)商業(yè)化的迅猛發(fā)展打造堅(jiān)實(shí)的技術(shù)壁壘，為全球無人駕駛技術(shù)發(fā)展和產(chǎn)業(yè)變革貢獻(xiàn)卓越力量。