人與環(huán)境：汽車智能駕駛的關(guān)鍵挑戰(zhàn)

          12月20日，由中國人工智能學會主辦，CAAI智能駕駛專委會、上海交通大學、上海人工智能研究院有限公司、江蘇南京生態(tài)科技島經(jīng)濟開發(fā)區(qū)管理委員會、中新南京生態(tài)科技島開發(fā)有限公司承辦的“2020智能網(wǎng)聯(lián)汽車高峰論壇”在江蘇南京中新生態(tài)科技島舉辦。主旨報告環(huán)節(jié)，CAAI智能駕駛專委會主任鄧偉文教授帶來了題為《人與環(huán)境：汽車智能駕駛的關(guān)鍵挑戰(zhàn)》的精彩演講。

          以下是鄧偉文教授的演講實錄：人工智能技術(shù)有很多應(yīng)用，智能駕駛是其中的一個重要領(lǐng)域。

          首先來看傳統(tǒng)的汽車駕駛。傳統(tǒng)汽車是一個典型的機電一體化控制系統(tǒng)，雖然也很復(fù)雜，但總體上是一個確定性系統(tǒng)，包括車輛、傳感器、控制器。汽車的運動控制，包括軌跡跟隨、緊急避撞、自動泊車等都是通過對力的控制實現(xiàn)，而力的來源主要是汽車輪胎。

          車輛動力學的核心是輪胎動力學，涉及縱橫向和垂向動力學的耦合，這也是車輛動力學的關(guān)鍵和精髓。

          汽車控制包括對車體的控制，比如汽車的操控穩(wěn)定、平順性等，以及對車輪的控制，如ABS、TCS等，防止車輪鎖死或打滑等失穩(wěn)現(xiàn)象。此外汽車控制還包括對執(zhí)行機構(gòu)的控制，如汽車動力傳動、制動和轉(zhuǎn)向控制等。

          這是傳統(tǒng)汽車的功能架構(gòu)。汽車的環(huán)境干擾主要來源于空氣動力學，如側(cè)風或陣風等，還有道路路面干擾等。我們通過電控線控執(zhí)行機構(gòu)實現(xiàn)對汽車受力和運動的控制。傳統(tǒng)汽車既有人的駕駛，也有機器駕駛，這就是人機共駕，但機器聽人指揮，環(huán)境由人負責；人是發(fā)號施令者，這樣人是完美的，而環(huán)境與車基本無關(guān)。我們把這類人機共駕稱為人主機從，即人指揮機器。

          汽車電控出現(xiàn)在上世紀的8、90年代，之后隨著環(huán)境傳感器的出現(xiàn)，就出現(xiàn)了汽車輔助駕駛系統(tǒng)、汽車主動安全系統(tǒng)，這些統(tǒng)稱為ADAS系統(tǒng)。隨著技術(shù)的不斷發(fā)展演進，將會實現(xiàn)汽車的自主駕駛。這是一個汽車電子化和智能化不斷發(fā)展的過程，使傳統(tǒng)汽車走向了智能汽車。

          隨著智能網(wǎng)聯(lián)化技術(shù)的不斷發(fā)展，傳統(tǒng)汽車實現(xiàn)了從機械結(jié)構(gòu)體向信息體的轉(zhuǎn)變，向具有環(huán)境感認知的智能體轉(zhuǎn)變，并實現(xiàn)從過去單一交通運載工具向移動通信的網(wǎng)聯(lián)體轉(zhuǎn)變過程。這些構(gòu)成了汽車顛覆性的革命技術(shù)。

          汽車智能化技術(shù)的挑戰(zhàn)，很重要的原因就是行駛環(huán)境成為了汽車的一部分。汽車行駛環(huán)境復(fù)雜多變、不可預(yù)測、不可窮舉，使得如何應(yīng)對復(fù)雜開放的行駛環(huán)境成為智能汽車的重要挑戰(zhàn)，不可在復(fù)雜環(huán)境下的感知認知，以及作為量產(chǎn)產(chǎn)品的高效安全和可靠性測試驗證。這是汽車智能駕駛面臨的兩個重大挑戰(zhàn)。

          汽車智能駕駛系統(tǒng)可以分為環(huán)境傳感感知、決策規(guī)劃、控制執(zhí)行等幾大部分，或類似人感官、肌肉和大腦。這是一個包含人機環(huán)境的復(fù)雜系統(tǒng)。

          機的概念相對簡單。汽車智能駕駛主要是軌跡跟隨，包括路徑跟隨和速度跟隨，如自適應(yīng)巡航系統(tǒng)，它是一個速度和距離跟隨的控制系統(tǒng)；無人駕駛本質(zhì)上都是軌跡跟隨。汽車自動駕駛的軌跡跟隨控制更多的是在線性條件下的運動控制，因為機器駕駛可以避免人的過度或不當操控，包括踏板、油門和轉(zhuǎn)向等，相對而言它是一個比較簡單的線性控制。

          也有例外，這種情況下既要通過軌跡跟隨實現(xiàn)避撞，同時還要考慮運動的穩(wěn)定性，如左圖所示是一個比較典型的多目標控制系統(tǒng)；右邊顯示的是一個高速彎道、低附著路面下實現(xiàn)避撞和車輛穩(wěn)定性控制的示意圖。這種情況下前面講的線性小角度假設(shè)就不成立，系統(tǒng)之間的控制目標有沖突，彼此耦合等?？偠灾?，機的問題相對變得沒有那么突出，但人的問題、環(huán)境問題是兩個比較重要的問題。

          在汽車智能駕駛領(lǐng)域，谷歌的Waymo是領(lǐng)先者，一開始就做L4級的自動駕駛，甚至要把安全員從駕駛位去除。他們的CEO有一段講話，其核心就是兩點，一是自動駕駛很遙遠、非常難；二是人的作用永遠存在，不管是無人駕駛也好，還是人機共駕，完全的自主駕駛不可能存在。

          汽車智能駕駛總的來講是機器輔助人、部分甚至完全替代人的駕駛系統(tǒng)。從汽車輔助駕駛開始，系統(tǒng)通過語音提示、警示、部分干預(yù)、到完全接管人的駕駛。根據(jù)美國SAE的自動駕駛分級，或中國工信部出臺的標準，總體分為輔助駕駛、有條件自動駕駛、高度自動駕駛、完全自動駕駛。人的作用在駕駛鏈里逐漸減少，機器的作用則在逐步增加。

          這個拐點就是我們通常講的L3級自動駕駛，包括駕駛主體、責任和方式都有了突變。L1、L2是以人為主的輔助駕駛，L3是以機為主體的自動駕駛。自動駕駛包含兩個截然不同的控制系統(tǒng)，一個是生物體的人駕駛，一個是以計算機為主體的機器駕駛；上面是機器，下面是人，人通過感官，包括聽覺、觸感和體感等感知行駛環(huán)境，這是一個典型的人機共駕系統(tǒng)。

          人機共駕系統(tǒng)多多少少是智能駕駛道路上的無奈之舉，一個很重要的原因就是大規(guī)模產(chǎn)業(yè)化，低成本約束是汽車行業(yè)一個很鮮明的特點和約束。人機共駕希望機器幫助人，但因為低成本下傳感器的不足導(dǎo)致對行駛環(huán)境感認知的不足，系統(tǒng)還需要人參與駕駛。

          當前的人機共駕主要還是人機交互問題，包括交互時機、交互方式、主動或被動交互等，其核心是駕駛權(quán)的分配問題，機器與人駕駛平穩(wěn)過渡的問題。人機共駕實現(xiàn)平穩(wěn)交互，做到人機協(xié)同共駕，駕駛權(quán)分配是關(guān)鍵；兩者可以是共享型或切換型，包括控制權(quán)的共享、駕駛行為協(xié)同等。

          就這個問題我們做了研究，一方面是理解人的駕駛特征，這是人機共駕的關(guān)鍵，包括駕駛意圖、駕駛狀態(tài)、駕駛習性等。首先要研究人的駕駛機理，人究竟怎樣駕駛，包括人和機駕駛在機理上的差異性。從人性化駕駛角度看，駕駛員所謂的個性特征研究，人在駕駛過程中怎么處理對于感知信息的協(xié)同問題，其核心點是對駕駛特征的理解，包括不同行駛環(huán)境下不同車輛駕駛?cè)说鸟{駛狀態(tài)、駕駛習性和駕駛技能，這是人機共駕的關(guān)鍵。這是重慶大學團隊在模擬器上實現(xiàn)的人和機不同情況下的接管和交互實例，即如何實現(xiàn)駕駛權(quán)分配的問題。

          另一方面就是人機共駕的個性化問題。每個人的駕駛習性和風格不一樣，一輛車兩個駕駛?cè)四懿荒苄纬珊椭C協(xié)同的駕駛，這是對人機共駕的共性理解。

          能不能建立類我的駕駛，即通過油門、踏板、方向盤等不同的駕駛操作體現(xiàn)出類我的駕駛習性。以縱向控制為例，速度跟隨和距離跟隨，包括最后的加減速度的方式是不同的。駕駛的個性化行為特征研究是其中一個關(guān)鍵。研究方法總體來講，是通過離線建模和在線辨識的方法。離線建?？筛鶕?jù)分辨率形成穩(wěn)健型、激進型和正常型等不同類型。通過采集數(shù)據(jù)，建立離線駕駛習性模型，包括穩(wěn)健、正常和激進型駕駛習性。

          通過在線辨識，判斷某個駕駛員究竟屬于什么類型，對于不同駕駛員在線判斷他的駕駛操控形成對駕駛員駕駛習性的在線辨識。

          我們通過和企業(yè)合作，將個性化駕駛特征應(yīng)用到了自適應(yīng)巡航系統(tǒng)，并做了實驗驗證。可以看到不同的跟車距離、跟隨過程，速度跟隨、距離跟隨等可以體現(xiàn)出每個人的個性化駕駛特征。

          人機共駕里很重要的問題就是擬人化問題。類人駕駛能力，智能駕駛不僅要具備對運動的操控，很多時候要有推理判斷、決策能力，特別是復(fù)雜的突發(fā)事件處理能力。很多涉及到道德規(guī)范、倫理的問題，具備人的感性、悟性、靈性、理性，做機械做不到的方面。

          汽車智能駕駛，從人機交互向人機融合發(fā)展，人和機怎么實現(xiàn)平穩(wěn)協(xié)同交互，包括我們說的監(jiān)管，希望進一步能夠形成以認知為中心的人類智能和以計算為中心的人工智能，以提升我們在決策上的不足，特別是對于復(fù)雜場景，突發(fā)事件機器上決策的不足。這個過程就是以認知為中心、以計算為中心，人工智能兩者之間的融合。

          融合很重要的方面是通過對人的狀態(tài)習性、駕駛技能的判斷，特別是人的駕駛意圖，來形成人的駕駛感知和人的駕駛意圖的識別，為人機融合智能駕駛奠定基礎(chǔ)。

          一方面有人的駕駛行為，比如人的關(guān)注方式、范圍、形式、強度等，這是人對世界的感知特點。我們有一系列的環(huán)境傳感器，比如相機、雷達等，這即是精準感知，對道路識別、目標識別的特點確定性的感知。人的感知具有不確定性，這就構(gòu)成了人機協(xié)同系統(tǒng)，提升了決策的可靠性，所謂混合決策，最后提升人機對于人駕駛的接受度和舒適度。

          我們走過了早期汽車電控系統(tǒng)，主要是人主機從，到人是正常且完美的，人是駕駛鏈的BUG，這個過程中主要是人機交互。

人是一個高度智慧體，怎么發(fā)揮人對于這個世界感知的優(yōu)勢，包括決策的優(yōu)勢，實現(xiàn)人機融合智能，這是未來汽車自主駕駛的發(fā)展方向。

           汽車的智能化總體來講是一個機器自動化，向類人自動化的演繹，目前主要停留在第一階段，是人在教機器，通過編程、預(yù)設(shè)行駛場景實現(xiàn)。隨著智能化的發(fā)展，機器學人駕駛，也就是類人駕駛，這里面用到的就是人工智能技術(shù)。

          人的問題是其中的一個挑戰(zhàn)，環(huán)境是另外一個挑戰(zhàn)，系統(tǒng)里包含大量的不確定性因素，這些不確定因素很大程度上是因為傳感器的精度、分辨率、檢測范圍不足，這個不確定形成的誤差、噪聲、干擾等，會通過傳感感知系統(tǒng)傳導(dǎo)到我們的決策規(guī)劃，到最后的控制執(zhí)行，對汽車的安全行駛構(gòu)成威脅。

          據(jù)統(tǒng)計有多達43%的人認為自動駕駛汽車不安全，有多達75%的人寧愿自己開車也不愿乘坐自動駕駛的車輛，只有當自動駕駛汽車比人駕駛安全4~5倍，人們才會信任自動駕駛。

          安全可靠性的測試長期以來是汽車量產(chǎn)里一個很重要因素，功能安全是其中一方面，ISO26262因為故障和失效帶來的安全問題，很多時候是因為對于系統(tǒng)的這些問題，我們不足以來應(yīng)對它。

          現(xiàn)在行業(yè)也在探討所謂多主體的安全，它來自于周邊別的車輛和行人對你構(gòu)成的威脅，這些問題都是汽車智能駕駛在安全方面要做的規(guī)范和探討。

          安全事故往往是小概率事件，測試驗證需要很大的樣本、很長的周期，美國的蘭德公司的報告告訴我們，這個問題就是究竟需要多少英里才能證明？行駛1億英里大約會造成1.16人死亡，只靠傳統(tǒng)的場地測試驗證已經(jīng)做不到了。

          從安全的角度考慮，危險機械的工況不太可能通過封閉園區(qū)、開放道路來測試，這個測試成本極高；另外就是效率，還有里程數(shù)沒有辦法。虛擬的數(shù)字實驗場變成了一個非常重要的途徑。公共Waymo，到現(xiàn)在為止這個數(shù)據(jù)已經(jīng)達到150億英里，而道路測試總里程數(shù)才2 000萬公里。仿真測試在虛擬理解里，我們構(gòu)建道路結(jié)構(gòu)、交通、天氣光照的因素來實現(xiàn)系統(tǒng)的測試。如果這些是自動駕駛，包括它的軟硬件等，核心問題是能不能構(gòu)建出這么一個世界或者場景來測試它。場景來源于我們對世界的抽象認識，這個世界無限豐富，極其復(fù)雜，沒有邊界。

          通過建模構(gòu)建測試驗證和評價體系，包括世界模型，以及道路模型、交通模型、氣象模型，相機模型包括單目相機、雙目相機等，來驅(qū)動車輛。

         怎么構(gòu)成基于對世界的理解，就是我們中間講的場景。一部分是靜態(tài)的，比如道路、交通、設(shè)施等；還有一部分是動態(tài)的，特別是動態(tài)的，它既有實際特征又復(fù)雜，沒有邊界。怎么構(gòu)建這個場景？一方面我們提出行駛環(huán)境里三維組合的場景概念，比如高速公路、城鄉(xiāng)道路、封閉園區(qū)等，環(huán)境的影響；另一個方面就是駕駛場景，你的速度和駕駛模式是什么，這是場景的三維組合。

         四維的映射，從傳感器的角度，特別是自動駕駛里的測試，比如雷達、相機等，我們來看它的幾何特征，形成一個對行駛環(huán)境四維的映射。

         場景是可以模擬的，比如封閉園區(qū)、數(shù)字虛擬場景、實驗室場景，它的優(yōu)勢可以自動生成，甚至可以大量生成，而且可以解決數(shù)據(jù)里的標注問題。模擬場景的核心點是要構(gòu)建出復(fù)雜的道路，無序的交通、惡劣的天氣和突發(fā)事件，這些在日常行駛過程中很難構(gòu)建。

         場景構(gòu)建解決了另一個問題，就是數(shù)據(jù)的來源?，F(xiàn)在大量的數(shù)據(jù)，深度學習數(shù)據(jù)是一個重要的方面，構(gòu)建虛擬的數(shù)字實驗場，形成人工場景數(shù)據(jù)。

仿真測試支撐產(chǎn)品開發(fā)的方方面面，通常我們講的V字型的模式，左邊是系統(tǒng)設(shè)計和分解的過程，這個過程可以通過大量的軟件模擬仿真來支撐它的開發(fā)。右邊是不斷的集成和驗證的過程，這樣就有不少的硬件，包括執(zhí)行機構(gòu)、傳感器、車輛都可以構(gòu)成硬件在環(huán)仿真。最后可以引入人的環(huán)節(jié)，實現(xiàn)主客觀評價，駕駛模擬器，構(gòu)成了一個完整的對于汽車開發(fā)環(huán)境的支撐。

          最后簡單介紹一下我們開發(fā)的一個仿真平臺。這個平臺首先是車輛動力學，不同的車輛（包括電動汽車、汽油車、客車等）構(gòu)成了車輛動力學的模型，在數(shù)字虛擬環(huán)境下構(gòu)建了行駛環(huán)境的模擬，比如道路、高度結(jié)構(gòu)、道路紋理，對車道線檢測，包括車輛的檢測非常重要，三維場景的行駛模擬。

          這是我們給戴姆勒做的實例，從地圖導(dǎo)入，自動生成場景——德國的城市，構(gòu)建的一個場景。

          世界模擬的核心是交通，特別是交通里的邊界條件，極端的異常交通工況怎么進行模擬？這是我們構(gòu)建的Traffic Builder。

          剛才我們提到的行駛環(huán)境或場景都是給傳感器看的，主要的車載傳感器包括毫米波雷達、相機，還有激光雷達、超聲波、無線通信、定位等，傳感器建模就顯得非常重要。

          有了這個系統(tǒng)后，可以在一個軟件環(huán)境下打造一個基于虛擬平臺的仿真測試平臺，構(gòu)建由環(huán)境模型、道路交通、天氣光照，支撐我們開發(fā)處理算法、控制算法等。進一步可以引入軟件在環(huán)模型等，實現(xiàn)了實時仿真測試，進一步可以支撐打造分布式的機群，來支撐多傳感模擬仿真，包括N路相機、雷達；支撐處理器的開發(fā)，把模擬數(shù)據(jù)傳過去，在實驗室的環(huán)境下生成大量的測試算法。

          汽車自動駕駛離不開測試，沒有充分的測試就沒有足夠的安全，沒有足夠的安全就不可能有自動駕駛的量產(chǎn)。仿真測試將是汽車自動駕駛最為重要且最具挑戰(zhàn)性的測試技術(shù)。