隨著AI大模型從深度學習算法中脫穎而出，正在成為當前AI領域最為炙手可熱的新技術范式。自動駕駛技術也因為大模型技術的引入，具備了從模塊化階段向端到端自動駕駛進化的可能。AI大模型正在重塑自動駕駛技術路線。

9月27日，毫末智行聯(lián)合清華大學智能產業(yè)研究院（AIR）聯(lián)合舉辦的自動駕駛精品公開課圓滿結束。本場公開課聚焦自動駕駛當前最領先的AI算法，并結合毫末的具體實踐，給自動駕駛從業(yè)者、行業(yè)伙伴和媒體朋友們帶來了一場端到端自動駕駛的技術盛宴。

本期課程是自動駕駛系列公開課程的第三期，此前第一期和第二期課程分別從宏觀行業(yè)和技術原理上對自動駕駛知識體系進行基本介紹。而第三期，清華AIR助理研究員/助理教授詹仙園博士從決策優(yōu)化視角下解釋了端到端自動駕駛AI算法的特點和當前進展，而毫末智行技術總監(jiān)潘興博士從數據閉環(huán)系統(tǒng)上完整解釋了AI大模型算法是如何在海量數據中學習和優(yōu)化，并在實踐中如何呈現(xiàn)它驚人的能力。

在題為《決策優(yōu)化視角下的端到端自動駕駛》的分享中，詹仙園博士從端到端的概念入手，結合自動駕駛行業(yè)30年的發(fā)展歷程，為大家講述了端到端自動駕駛中的策略學習方法，并結合清華AIR和毫末的科研合作實踐，透過Al算法，洞悉行業(yè)發(fā)展脈絡，對行業(yè)發(fā)展做出總結和趨勢判斷。

詹仙園博士指出，端到端，簡單來說就是把所有架構、不同模塊融成一個完整的整體，直接從輸入到輸出做訓練，學習信號從決策處向前傳遞。原有的模塊化，其好處在于每個模塊拆解地非常干凈，每個模塊建模目標非常明確，可解釋性非常好。但模塊化架構下，每個模塊的設計和優(yōu)化都有自己的一套體系，把多個模塊組合到一塊勢必會出現(xiàn)誤差累積。而端到端的優(yōu)點在于以下三點。首先，可以把整個端到端模型看成單一的超大模型，所以結構非常簡單，所有的目標都是圍繞著決策的最終目的做優(yōu)化和學習，在優(yōu)化層面上目標是統(tǒng)一的。其次，從輸入到最終決策輸出是端到端的學習，可以很方便地實現(xiàn)依賴海量數據的純數據驅動學習。第三，因為端到端是很多模型在同一個體系下訓練，所以可以共享不同模塊模型的主干，從而可以降低計算上的開銷。

詹仙園博士介紹，所有端到端的駕駛模型可以看成一個很大的決策模型，把這樣的模型訓出來需要用到決策優(yōu)化的算法。這就涉及模仿學習和強化學習，模仿學習即用監(jiān)督學習的方法直接從數據里訓出來的映射；強化學習則不是簡單的模仿數據，它提供了超越數據本身的可能，可以通過不斷學習優(yōu)化去找到一個比現(xiàn)有數據更好的決策模式。

在詹仙園博士看來，早期的端到端自動駕駛都是一些很小的決策模型，但到了今天，產業(yè)落地的端到端系統(tǒng)都是巨大無比的模型，端到端自動駕駛從早期的在線交互范式，慢慢已經延伸到完全離線的學習。隨著模型變得越來越強、越來越好，安全性也變得越來越好，而且泛化性層面也慢慢有一些改進和過渡。此外，詹仙園博士還就清華AIR和毫末在模仿學習和離線強化學習上的合作進行了詳細的介紹，并表示這些算法會逐步應用到毫末的自動駕駛場景實踐當中。

詹仙園博士分享結束后，潘興博士以《毫末的自動駕駛AI之路》為主題，通過毫末的具體實踐，從工業(yè)角度闡述了AI算法的重要性。潘興博士表示，作為一家致力于自動駕駛的人工智能技術公司，毫末用戶輔助駕駛行駛里程已經超過8000萬公里，城市NOH也在泛化迭代過程中，預計明年將實現(xiàn)搭載量產。

潘興表示，隨著數據規(guī)模的增加、算法能力提升，在大模型、大數據、大算力趨勢下，應用，當前行業(yè)即將進入以數據驅動為主的自動駕駛3.0時代。隨著自動駕駛產品正在從高速場景走進城市場景，自動駕駛數據智能體系的建設最核心的基礎設施。為了實現(xiàn)數據閉環(huán)，諸如特斯拉、毫末和國內很多友商，也都在搭建自己的云端AI能力和超算中心，通過更大的算力，更大規(guī)模的數據處理能力，來實現(xiàn)更好的自動駕駛能力。

目前，毫末構建了自己的數據智能體系MANA，并在今年年初搭建起中國自動駕駛行業(yè)最大智算中心——MANA OASIS雪湖?綠洲?；贛ANA OASIS，毫末在今年四月發(fā)布了業(yè)內首個自動駕駛生成式大模型DriveGPT雪湖·海若?！白鳛橐粋€基礎大模型，毫末使用DriveGPT構建了進一步的AI能力，包括數據管理檢索、自動標注、AIGC仿真數據合成等等，基于這些數據能力和服務，我們進一步來提升車端各個模塊和算法的能力，最終實現(xiàn)一個更優(yōu)秀的自動駕駛產品?！?/p>

潘興博士指出，數據智能是整個自動駕駛迭代的核心，這個過程中要積累海量的數據資產，通過AI大模型，可以更好地去管理這些數據資產。同時，有了數據之后不可避免地需要算力，智算中心的穩(wěn)定持續(xù)運行，也為大模型的迭代和自動駕駛的提升提供了源源不斷的動力。

潘興博士介紹，“有了數據和算力之后，目前車云聯(lián)動、共同訓練的方法可以通過大模型有效地提高車端算法的效果。”比如，通過使用DriveGPT，在工具鏈里面可以非常有效地降低整個標注的成本，提高標注的效率。同時，DriveGPT還可以使用大模型直接支持車端小模型能力的提升，把云端的大模型能力更好地傳遞到車端的模型上。

潘興博士還表示，“如何高效獲得更真實的仿真數據，其大模型可以發(fā)揮非常重要的作用?！蓖ㄟ^大模型的使用，可以非常有效地學習紋理、深度、語義等信息。通過大模型的有效表征，可以使數據具備可被編輯能力，比如，在原始的視頻上沒有的車輛障礙物，通過DriveGPT可以將對它們進行粘貼、剪輯、隨意旋轉，放進視頻當中，從而獲得新的仿真合成數據。除了感知領域的應用，在智能駕駛決策和規(guī)劃上，大模型在應用中也發(fā)揮了很大的價值和作用，DriveGPT使用人駕的用戶數據，持續(xù)地迭代和學習，更好的駕駛行為和決策。

與此同時，毫末DriveGPT不僅可以幫助完成軌跡預測、圖片合成，還具備智能決策的能力?！癉riveGPT具備輸入一段視頻可以去預測未來軌跡以及回答駕駛決策過程中問題的能力，可以給出可解釋性的決策?！边@些能力讓毫末認為隨著端到端自動駕駛的來臨，將宏觀決策和微觀行為，通過模型一起進行學習和理解會成為比較有效的手段。潘興博士透露，接下來，毫末會更深度地將感知和認知兩個模型進行端到端的打通，讓它們能夠合二為一。

毫末智行聯(lián)合清華大學智能產業(yè)研究院（AIR）舉辦的自動駕駛精品公開課共分4期，本期課程是第三期。在此前舉辦的兩期課程里，來自清華AIR和毫末智行的講師已經為近百名業(yè)內媒體人介紹了單車智能自動駕駛、車路協(xié)同自動駕駛和高等級智能道路建設等自動駕駛技術發(fā)展，并向大家講解了自動駕駛AI技術基礎原理，以及當前大模型在自動駕駛的應用趨勢。本期自動駕駛精品公開課，毫末與清華AIR一同向自動駕駛行業(yè)觀察者們分享了更為深入的AI算法和自動駕駛AI系統(tǒng)的原理，并得到線上線下嘉賓的積極提問和交流。

面向自動駕駛星辰大海，唯有行動才會真正抵達未來的目標。通過自動駕駛精品公開課，毫末與清華AIR攜手業(yè)內資深媒體人一起收獲關于自動駕駛A算法的最新研究成果和實踐經驗，攜手跨越山海，共同分享AI知識的智慧火花，為自動駕駛行業(yè)貢獻一份珍貴的技術共識和知識沉淀。

返回第一電動網首頁 >