今年三月，當微軟發(fā)布的Tay聊天機器人被玩壞后迅速下線，這引發(fā)了關(guān)于人工智能的廣泛討論。同樣引發(fā)人們激烈討論人工智能的，是今年2月谷歌無人車引發(fā)的事故。我們是否應該設計最小化不良行為的智能學習機器呢？　

　　雖然剛才提到的兩項意外相對來說都是小事故，我們從中看到了一個大問題：在復雜環(huán)境中，要控制適應性學習機器是非常難的。著名的控制論專家NorbertWiener在50年前就已經(jīng)警告過我們這是個麻煩事：“如果我們?yōu)榱俗约旱哪康模褂靡环N我們沒法有效干涉其內(nèi)在運行機制的機械代理…我們最好確認再確認，機器所設定的目標真的是我們最初想要達到的目標，而不只是我們最初目標的近似模擬。”

　　學習機器的問題在于，他們基于自己所見到的數(shù)據(jù)進行自我訓練，“訓練數(shù)據(jù)”沒法完全代表未來將要遇到的情景。有一種情況叫做“邊緣案例”或者“Rumsfeldian未知數(shù)”，因為它們事先是無法預知的。人類通常在面對這種“邊緣案例”的時候，表現(xiàn)得都還不錯，不需要進行事先“訓練”，例如通過應用常識、尋找類比或者研究樣本等方式。

　　目前來說，這些讓人頭痛的問題還沒有解決之道。但是，系統(tǒng)的設計者很有必要評估一下每一項應用在未來邊緣案例中的風險，系統(tǒng)可能發(fā)生的最壞的情況。

　　首先，訓練中的錯誤分析是很有必要的，可以幫助我們理解系統(tǒng)所學到的是什么。這不是小事。舉個例子，在一個最近的項目中，研究人員評估了一天中不同時間段的電視觀眾，發(fā)現(xiàn)系統(tǒng)的預測在某一些時段、某一些區(qū)域內(nèi)錯得特別離譜。

　　一項錯誤的細節(jié)分析顯示，系統(tǒng)不知道在某些時段、某些地區(qū)有特殊的體育節(jié)目。通過加入此項信息并對系統(tǒng)進行重新訓練，系統(tǒng)在問題案例中的表現(xiàn)大大改善，而在其他案例中的表現(xiàn)沒有變化。這說明系統(tǒng)學會了在之前出錯的案例中運用新的知識。雖然這不能解決整個問題，但這是一個改善系統(tǒng)的例子。

　　另一種策略是利用互聯(lián)網(wǎng)上可以獲得的人類智能，來創(chuàng)造出機器有可能范錯的邊緣案例。眾籌是一種常用的獲得、處理邊緣案例的方法。我的一些同事設立了一個叫做“超越機器”的系統(tǒng)，人類被要求指出機器預測將會出錯的地方。每一次人類都能成功指出錯誤案例，機器可以更好地學習這些案例，從而在未來正確應對類似案例。

　　還有其他的方法，有一些是自動化的方法，這為學習過程增添了難度，難度是為了誘導機器出錯。舉個例子，我們可以人為地創(chuàng)造難度案例，只要稍微調(diào)整一下真實訓練案例，目標就是為了誘導機器犯錯。在系統(tǒng)對于自己的預測非常自信的時候，這樣的方法尤其有用，因為機器無法區(qū)分真實的案例和經(jīng)過調(diào)整的案例。這說明機器的學習效果還不夠強，我們還不該放心地將其用于自動化應用。此類策略的目標是引入目前數(shù)據(jù)中沒有的新案例，有時候新案例甚至會有些奇怪，從而訓練系統(tǒng)更加完善和強大。

　　另外，我們還需要評估最差情況下的犯錯成本。這在金融行業(yè)的風險評估中是一個很大的專業(yè)領(lǐng)域，使用嚴重性概念和頻率來將風險量化為金錢或其他類似的單位。要使用這種框架，我們需要梳理各種結(jié)果可能有的損失分布，包括邊緣案例在內(nèi)，即便是我們沒法預先預計這些事件。如果這些分布沒法可靠地進行評估，我們可能應該判斷認為，目前系統(tǒng)還沒準備好進行自動化功能應用。