面對高溫暴雨的天氣，四周堆砌的集裝箱，港口的自動駕駛卡車仍要保持24小時不間斷的作業(yè)計(jì)劃。夜間的安全運(yùn)輸，無疑對任何一輛自動駕駛卡車來說，挑戰(zhàn)巨大。這就需要一雙智慧的“眼睛”精準(zhǔn)識別并避開障礙物。

卡車的“慧眼”功能來自于3D檢測技術(shù)。在自動駕駛領(lǐng)域，它是實(shí)現(xiàn)環(huán)境精準(zhǔn)感知的關(guān)鍵支柱，為車輛運(yùn)行做出安全決策。現(xiàn)有的3D檢測方案中，單目攝像頭因?yàn)椴渴鸷唵?、成本較低而通用，但難以估算復(fù)雜場景中的深度信息，存在一定安全隱患。而采用立體攝像頭，也并非完美。

3D檢測技術(shù)助力 自動駕駛車輛“理解”并“感知”周圍環(huán)境

雖然它模仿人類雙眼成像原理，通過“視差”計(jì)算深度信息解決部分問題。但面對強(qiáng)光變化或動態(tài)物體的干擾，對于遠(yuǎn)距離或小物體的感知精度欠佳。這好比車輛會常常因?yàn)?ldquo;視力不佳”影響作業(yè)安全與效率。因此，提升深度感知的精度和魯棒性，成為3D檢測技術(shù)的重要挑戰(zhàn)。

一場“視力”升級的考驗(yàn)

假如這項(xiàng)技術(shù)難題被攻克，帶來的不僅僅是安全性、自動化效率，還能創(chuàng)造降本，加速智能化的進(jìn)程。這無疑是一項(xiàng)值得探索的創(chuàng)新行動。對此，西井科技聯(lián)合同濟(jì)大學(xué)，研發(fā)了一種全新的3D檢測法——立體金字塔變壓器（Stereo Pyramid Transformer，SPT），為自動駕駛的“慧眼”賦予了全新的視角以及更清晰的視野。

在今年的IROS（IEEE/RSJ國際智能國際智能機(jī)器人與系統(tǒng)會議）學(xué)術(shù)會議上，雙方共同就研究成果發(fā)布了一篇論文《3D Object Detection via Stereo Pyramid Transformers with RichSemantic Feature Fusion》（《通過立體金字塔變換器和豐富語義特征融合的3D目標(biāo)檢測》），并被IROS官方收錄及正式發(fā)表。

榮獲IROS官方收錄及正式發(fā)表 并在IROS 2024國際頂尖學(xué)術(shù)會議上廣受關(guān)注

SPT的創(chuàng)新在于多層“金字塔”結(jié)構(gòu)，通過逐層提取和融合圖像特征，使模型具備深入理解和處理復(fù)雜信息的能力。這一結(jié)構(gòu)使得每一層都能專注于特定的圖像區(qū)域，捕捉到更細(xì)致的場景細(xì)節(jié)。同時，語義注意力機(jī)制幫助模型理解物體之間的空間關(guān)系，為自動駕駛車輛規(guī)劃最優(yōu)路徑提供有力支持。

定性結(jié)果表明 SPT檢測算法準(zhǔn)確地定位了物體

此外，SPT還創(chuàng)新地結(jié)合了雙目檢測與單目深度預(yù)測，將雙目攝像頭與單目攝像頭的數(shù)據(jù)融合，以更高的深度感知精度應(yīng)對復(fù)雜環(huán)境。即便在大雨或或霧霾等惡劣天氣，它依然能夠整合多視角的圖像數(shù)據(jù)，保持穩(wěn)定高效的檢測性能。

技術(shù)驗(yàn)證的里程碑成果

在KITTI和自有數(shù)據(jù)集上的測試表明，SPT在復(fù)雜環(huán)境中的表現(xiàn)力遠(yuǎn)超以往的3D檢測技術(shù)。它的檢測準(zhǔn)確率達(dá)到85.14%的mAP3D，足以證明其在多種環(huán)境中的穩(wěn)定性。在嚴(yán)苛的消融實(shí)驗(yàn)中，我們的研發(fā)人員明確了各模塊的貢獻(xiàn)，進(jìn)一步明確了“深度信息”對于模型構(gòu)建的重要性。

注：KITTI公開基準(zhǔn)數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

注：消融實(shí)驗(yàn)結(jié)果

即使在極端測試條件下，如嚴(yán)重遮擋和復(fù)雜光照下，SPT仍能精準(zhǔn)識別目標(biāo)物體，顯示出其對動態(tài)環(huán)境的強(qiáng)適應(yīng)性。同時，我們深度誤差分析表明，SPT的像素平均深度估算誤差顯著低于其他模型，從0.25降至0.1567米，為空間位置估計(jì)提供了可靠的技術(shù)支持。

西井新能源自動駕駛重卡E-Truck應(yīng)用于海港運(yùn)輸

西井新能源無人駕駛牽引車Q-Tractor應(yīng)用于機(jī)場貨站運(yùn)輸

西井無人駕駛重卡Q-Truck 參與工廠及園區(qū)運(yùn)輸作業(yè)

在實(shí)際海港場景應(yīng)用中，SPT的檢測能力得到了充分發(fā)揮。有了它的助力，西井自研的新能源商用車E-Truck（自動駕駛重卡）、Q-Truck（無人駕駛重卡）以及Q-Tractor（無人駕駛牽引車）等，不僅能看清遠(yuǎn)方的環(huán)境情況，還能及時識別周圍空間并做出精準(zhǔn)判斷。這些車輛可以在空港、陸港、鐵路港、工廠及工業(yè)園區(qū)等復(fù)雜場景中流暢運(yùn)行，有效避免潛在的車輛或設(shè)備碰撞風(fēng)險，確保運(yùn)輸任務(wù)的安全高效完成。

產(chǎn)學(xué)研驅(qū)動自動駕駛向前

西井科技與同濟(jì)大學(xué)的產(chǎn)學(xué)研合作，是理論技術(shù)與實(shí)際應(yīng)用的有效結(jié)合，確保了這項(xiàng)3D檢測新技術(shù)的可靠性。這一創(chuàng)新方案在成本控制與精準(zhǔn)度上取得了良好平衡，為未來的大規(guī)模應(yīng)用奠定了基礎(chǔ)。

目前，SPT主要搭載在西井科技自主研發(fā)的雙目攝像頭，除了安裝在自動駕駛及無人駕駛重卡上，還被應(yīng)用于場景化智能識別的貨物檢測。隨著軟件系統(tǒng)不斷迭代，這雙敏銳的眼睛也將不斷進(jìn)化，提升感知識別的精準(zhǔn)度及自動化效率。也對環(huán)境安全、可持續(xù)發(fā)展做出重要貢獻(xiàn)。

西井科技自研雙目攝像頭應(yīng)用于車端及場景智能識別

在全球大物流領(lǐng)域，西井科技以“智能化、綠色化”為目標(biāo)，不斷加強(qiáng)新智能、新能源的技術(shù)創(chuàng)新與場景應(yīng)用，推動多場景的可持續(xù)轉(zhuǎn)型與環(huán)保升級。SPT的實(shí)踐成果，不但代表了西井在自動駕駛研發(fā)的競爭力，更是為綠色物流的高效進(jìn)化提供了強(qiáng)大動力與安全保障。