啟智講堂

吳文峻《人工智能治理與評測方法》

演講者：吳文峻，OpenI理事會理事，北京航空航天大學教授

演講速記（根據現場演講整理，未經演講者確認）
很高興今天有機會跟大家分享一下我們在人工智能治理和評測方法方面的想法。
    大家都知道，現在以深度神經網絡為代表的AI帶動了新一輪人工智能的發展。但是，在這個發展后面，也有很多新的挑戰和隱憂。今天上午和下午的一些嘉賓都提到了。咱們知道，在自動駕駛領域里面有特斯拉出現車禍，在目前利用一些方法來進行深度偽造，嘴邊拿一個視頻過來就可以把你自己說的話換成名人的頭像，比如這張圖，讓奧巴馬說一段其他名人說的話，這就叫深度偽造。我記得前段時間國內有批量換臉的應用，但是很快下架了。所以，深度偽造帶來的潛在社會危害是非常非常巨大的。
    今天上午有嘉賓提到人工智能的公平性問題，這在國內外許多AI應用里面都有提到，比如不同膚色、不同人種用AI進行智能司法判決的時候，包括在找工作的時候AI進行自動的簡歷篩查，包括在銀行進行貸款發放的時候等等，如果你的算法在數據上面的處理不夠均衡，很有可能你的算法所做出的最終判斷就是有偏差的，從倫理道德來說就會帶來很嚴重的社會問題。
    我今天重點講的是關于深度神經網絡本身的安全問題。雖然在座很多開發者和同學都用過深度神經網絡，但是你會發現，雖然深度神經網絡在相當數據情況下解決很多問題，比傳統方法的效率和效果都要好，但是它的安全性確實是深度神經網絡目前最需要解決的問題。如果你把這樣不安全的神經網絡應用在自動駕駛、應用在人臉識別、應用在安防監控這些領域里面，帶來的危害是立竿見影的，是現實的。
    我們這里可以總結一下在AI治理方面或者倫理原則方面，以獲取人的信任為主要核心，但是覆蓋的方向主要是四個，一個是Security，二是Transparency，這個算法不是黑箱，讓人理解深度神經網絡的運行、推理過程和訓練過程。第三是Privacy。第四個是公平性Fairness。這些原則無論是學術界還是工業界，都在開展很多的研究。因為圍繞著前面這四掉原則，你去探討法律、道德甚至哲學層面，可以永遠探討下去，因為這是我們人類社會對中級的道理、中級的正義的追求的一種表現。但是，在目前來說，我個人覺得最重要的是你怎么樣把這些非常好的、與人為善的AI的根本原則能夠落地，能夠和我們現有的技術手段、技術方法進行有機地結合。
    比如說，在透明化方面，有大量研究工作正在做可解釋性的工作，包括對AI的推理過程，把它翻譯成自然語言。包括把一個復雜的黑箱式的深度神經網絡能不能等價成一個簡化的代理網絡，比如決策樹、貝葉斯圖。還有各種深度神經網絡的可視化工作，把神經元推理過程中不同輸入情況下激活的狀態以可視化的方式展現出來。另外一個是溯源，因為AI模型和應用是不斷連續的過程，從它產生數據到中間數據不斷訓練出來的模型，以及訓練中產生的方法，在軟件工程中，都可以用分階段的版本的形式刻畫出來，然后把演化的過程或者演化的數據給表達出來。當出現問題的時候，就可以分階段地進行判斷、審計、健全等等，通過這樣的方式最終確定AI模型在一定文化或者事故情況下的權利的劃分。
    后面還有兩個針對AI治理的技術，一個是測試技術，一個是形式化驗證技術。測試技術等一會兒講，先講一下形式化驗證技術。
    在軟件工程里面，對軟件的形式化驗證有很多年的研究，主要是利用計算機科學里的形式化的方法，也就是梳理邏輯和彌散數學里的形式方法，對程序的建立、數學模型和建模情況下程序的行為、屬性所需要的滿足性質進行驗證。目前學術界還沒有得到一個非常短時間內可以覆蓋很大規模神經網絡的形式化工具，但是在最近幾年，一些初步研究探索已經在開始了，至少可以對部分情況用形式化的方法，對于神經元在不同輸入里面的上下邊界進行數值的刻畫。神經元最大的問題是有擾動的情況下會產生嚴重的偏差，這會導致很嚴重的誤判。所以未來可以期待的是，至少在一定范圍里面，特別是自動駕駛，肯定會出現比較嚴格的面向神經網絡的形式化的方法，以保證將來訓練出來的關鍵系統的模型的可能性。
    最后一個是測試技術，我們知道軟件里面測試很多年了，方法也很成熟。對于神經網的測試，沒有把它作為工程法的方法來對待，大家在不平常當中對學習訓練的測試是用測試集來訓練它的acc、auc等等性能，但是對它在擾動情況下出現的各種錯誤的行為，過去這種測試是比較少的。對神經網本身的一些覆蓋測試、黑盒測試研究等等也是剛開始。
    綜合這些技術，在目前這種AI大潮情況下，能夠把人工智能模型的開發和運維周期有效結合起來，無論是從任務的提出，到模型訓練數據的收集，到訓練的過程，到對模型的測試和評價的過程，以及到最后的模型的應用，我們都可以不斷地加入剛才提到的這些治理的要求，比如剛才講的公平的要求、質量的要求等等。通過工具嵌入到開發周期當中，能夠使得在每一個階段都能使模型數據、模型本身的實現能達到我們的倫理期待，這是將來很多人都會不斷推進和做的一件事情。
    目前，在測試方面，國家雖然有很多宏觀政策，要求我們人工智能安全、可靠、可控地發展，但是目前還沒有對于機器學習算法的統一測試方法、標準規范，這都是急需要推進的事情。在國外，包括ISO和美國標準局和加拿大等等陸續出臺了一些法規，很多都是含糊的原則性措辭，可以想見，在這個領域是大有可為的。我們想到將來的AI產品、算法和模型如果要大規模推廣，不只是它的功能，安全、可靠這些東西都要做測試，如果達不到測試標準，那它根本沒有辦法得到國家有關部門的授權，能夠真正在市場中推廣。我相信將來肯定會出現這么一種局面，所以所有的重要領域的AI算法產品，你要真正部署應用的時候，必須要經過嚴格的測試和認證。
    這幾年這個領域的研究非常活躍，特別是從軟件工程角度和對AI模型自身角度的研究，特別是哥倫比亞大學做的工具、自動駕駛做的deep test工具，包括IBM、谷歌、清華、百度等等都有相應的工具出臺。對于這些研究主要集中在對神經網的對抗樣本研究，也就是說，目前運用GAN網絡，在正常情況下，通過加入人眼無法辯識的信號干擾，使得你的AI模型產生完全不期望的結果。比如一個熊貓，你加一些噪音進去，認成猴子或者猩猩。一個香蕉加了干擾可能認為是礦卷水瓶子。
    大量的數據和大規模網絡在訓練的時候，我們知道深度神經網絡都是用算法迭代式的進行優化，往往只找到局部的最優點，不能找到全局的，所以優化過程中最優化的曲率和梯度坍塌、爆炸都是常見的問題。你通過反復訓練，使模型性能提高了百分之幾，但是模型的安全性是極無法得到保障的，是極不穩定的。
    在這里，我們做了一系列工作，包括在路牌上面貼一些小的patch，根據算法來生成，實際上是加了一些噪音，最后使得自動駕駛的算法在進行停車、通行、限速方面，完全不一樣，比如指定限速20邁，通過加上標簽，一下提升到80邁，自動駕駛的車輛過去的時候會產生嚴重的誤判，就會產生問題，這都是用GAN的算法生成，需要充分考慮到場景。
    另外，我們把這樣算法用在機器人導航識別當中，比如三維導航場景當中機器人需要識別物體對象是什么，通過三維場景中增加一些擾動信號，可以使得典型的機器人的算法發生根本的誤判。
    本來有一個視頻，可以看到機器人進入到一個場景，本來是一個三維的音響，它會認成一個電視。
    這里也有一個展示，跟大家網上購物有關系，比如京東或者其他購物APP可以對物體進行拍照，可以在網上商城找到相應的商品列表。比如在方便面上打一個這樣的patch或者在礦泉水瓶上打一個patch，最后認出的商品是五花八門的，完全不是你想要的情況。
    剛才幾張PPT顯示了在場景里面增加對抗的patch，能夠使得機器學習算法完全失效的情況。我們通過什么方法能夠更好地加固和優化我們的算法，以避免產生這樣的誤判、提升系統的穩定性和魯棒性？我們做的工作，對于神經元的敏感性Sensitivity進行刻畫。這個敏感性定義是說，你對神經網絡進行對抗性樣本輸入的時候，很明顯的觀察到，并不是所有神經元都是敏感的，并不是所有東西都明顯的產生比較劇烈的反應或者輸出激活的狀態下，所以你可以標出敏感度最高的神經元，圍繞著神經元每一層輸出的地方，可以加入自適應的調節機制，來弱化這個過度敏感的神經元對整個神經網判別過程的影響。我們這里做了一些可視化的工作以及對于敏感性增強的一些工作。
    另外，對于模型不同信號的噪音，包括自然噪音和對抗樣本生嗯的噪音，把相關性進行分析比較。在自然噪音情況下，比如加雪花、變形等等，和對抗樣本生成的人工擾動具有一定的相似性，這就說明魯棒性問題是模型本身的結構和模型的參數訓練問題造成的。要解決它，除了在結構和參數的加固和優化外，在訓練過程中多樣性的訓練數據也是很重要的。
    這里組織了一個神經網可結實的專刊來推動對這方面的工作。這里是對模型量化進行的一些工作，特別是對量化參數加入一些線性網絡模塊，加在每一層現行權重輸出的地方，能夠使得權重在一個比較穩定的范圍。這是兩種不同的方法，具體細節就不介紹了。
    另外，我們把對抗樣本加入到神經網的反向訓練BP過程當中，通過這樣的方式，可以有效地提升訓練出來的神經網對抗的魯棒性和對自然噪聲的魯棒性。
    這是剛才提到的對敏感性神經網怎么通過算法的方式進行有效地加固。
    目前，基于這一系列的工作，我們已經在這方面國家標準的制定方面進行了一些探討，特別是在今年年初、去年年底的時候，中國電子工業化技術協會下推動了一項團標，專門是用來對機器學習算法的魯棒性怎么進行度量，像剛才講的最差的決策邊界、噪音敏感度、神經元敏感度，把這些都納入到團標當中，目前在把這個團標向國家標準立項方向進行推進。
    另外，我們跟工信部門合作，把剛才這些算法納入到工信部門接綁行動的標準化評價評測平臺的研制當中，構建相應的數據模型和資源庫，同時引進模型的數據檢測和模型評測的方法等等。
    整個AI的運維管理，目前一般來說在下面需要一個云的環境。名談我們有一些報告會提到微服務。今天我們聽了各種開發工具，包括數據標注、主動學習、知識圖譜的工具，今天特別強調了安全驗證工具等等，這些都可以作為微服務來進行有效地串接在一起。在這上面，可以從數據的收集、整理、訓練到模型部署、運維的整個流程來進行打通。
    如果我們比較一下目前在軟件工程CI/CD領域持續集成、持續部署流程和深度學習模型，這樣的流程之間有一定的相似性。軟件的CI/CD流程，軟件要從代碼庫里面通過編譯進行流程管理，引入一些工具對代碼質量進行評測，然后放在google net或者其他云上面。我們對AI模型也是這樣，需要選結構、設計和調優部署。目前大部分廠商對于設計調優和部署有相當多的工具支持，但是對圖片中的這一塊對評價測試和加固優化的工作的開源工具相對比較少。這需要國內、國外大力開發研究和推進的。
    這是我們研究的測試平臺的原型，和一般的開發流程差不多，這方面不再詳述。
    這是開發目前的基本界面，在這個界面大家可以提交自己的模型，我們通過生成的不同測試樣本對抗噪音和自然噪音，對算法的性能、安全性、可靠性進行評測，進一步給出模型的改進建議。基于剛才的框架，還有很多后續的工作和工具可以繼續來做。
    根據剛才所說的這些，我們的計劃是能夠在前面理論研究和原型開發基礎上，能夠使平臺更加成熟，計劃在今年晚些時候能夠納入到我們的OpenI開源框架體系里面，為AI持續健康的發展和治理做出我們的努力。
    我的報告就到這里，謝謝大家！

啟智社區，確實給力

啟智講堂

吳文峻《人工智能治理與評測方法》