計算機多媒體領域的年度國際學術會議IEEE International Conference on Multimedia and Expo (ICME) 于2019年7月8日-12日在上海圓滿召開。鵬城實驗室人工智能研究中心、北京大學數字視頻編解碼技術國家工程實驗室高文院士團隊的論文“Towards Digital Retina in Smart Cities: A Model Generation, Utilization and  Communication Paradigm (面向智慧城市數字視網膜的模型生成、利用和傳輸范式)”榮獲大會最佳論文獎。論文第一作者為鵬城實驗室、北京大學信息科學技術學院2015級博士生樓燚航，通訊作者為鵬城實驗室、北京大學段凌宇教授。ICME是IEEE在多媒體領域的旗艦年會，本次會議共收到來自36個國家或地區的1000余篇論文投稿，論文接受率約31%。



鵬城實驗室高文院士團隊致力于數字視網膜計算架構的研究，借鑒人類視網膜機理，實現特征實時匯聚、視頻按需調取、前端軟件可定義等功能。該獲獎論文針對數字視網膜計算，首次提出了視頻流、特征流與模型流的多流協同計算模式，改善了城市大腦的視覺通路，有效克服“端-邊-云”協同計算的模型重用與傳輸瓶頸等問題，為視頻數據大規模匯聚、存儲和計算提供了新思路。 

獲獎論文的相關研究工作依托于鵬城實驗室人工智能研究中心云腦開源平臺與智能應用項目的智能交通課題，段凌宇教授擔任其中子課題負責人。課題瞄準人工智能國家重大戰略需求，以建立數字視網膜的計算理論、方法與技術體系為目標，深入研究智能交通場景下的大規模視頻特征計算瓶頸問題，并在鵬城實驗室“云腦”平臺上逐步實現百億規模視頻監控以及交通數據的高效索引、事件的實時檢測和因果推斷技術驗證。利用視頻流、特征流與模型流協作機制，研制千萬規模視頻對象的關聯理解與知識演化特性分析引擎，并在重點城市智能交通系統進行應用示范。通過數字視網膜框架下的視頻、特征、模型協同計算等基礎理論方法創新，提升我國在人工智能基礎理論領域的國際學術地位和影響力；通過應用示范系統的構建，為智慧出行等重要民生領域提供有序引導及因果推斷等方面的人工智能技術保障。



段凌宇教授課題組在數字視網膜研究與實踐中發現，數字視網膜計算框架的邊緣節點緩存了大量表征識別模型與無標簽數據。為此，課題組提出一種多模型重用機制，有效利用數字視網膜框架下邊緣節點緩存的模型和數據，生成更具域適應性和判別力的目標模型。針對多模型重用帶來的風險，該論文給出了理論證明與分析，并在實驗中取得了相比傳統方法更優的性能增益。在視網膜計算框架下，模型的頻繁傳輸與部署會帶來較大的通信開銷；為此，該項研究工作進一步提出了模型之間高效通信的新問題，并提出了一種新穎的差分模型壓縮方法，相比傳統的單模型壓縮方法，可有效降低模型傳輸代價。論文圍繞視頻流、特征流、模型流，提出了城市視覺系統中的協同計算新問題，對于未來數字視網膜理論研究與實踐具有指導意義。 

段凌宇教授長期從事以機器識別為目標驅動的視覺特征分析與壓縮研究工作，以壓縮傳輸視覺特征為突破口，通過匯聚大規模緊湊視覺特征，實現視覺對象精準分析與識別，克服了聯網分析識別提出的實時數據匯聚挑戰。課題組圍繞視覺特征的緊湊表示、模式學習、高效索引三方面系統地開展了研究工作，提升了特征的緊湊性與辨識力，優化了大規模特征檢索的可擴展性，并通過制定標準解決了傳輸壓縮特征所引發的互操作問題，全面實現了特征的小、準、快、通。作為主起草人，制定了緊湊視覺特征國際標準MPEG－CDVS與MPEG－CDVA，將多項研究成果轉化成為標準規范化核心技術。其中，MPEG-CDVS成為多媒體領域我國主導制定的首項ISO國際標準。MPEG-CDVA預計在2019年9月正式頒布執行，鵬城實驗室人工智能研究中心為該項國際標準制定的重要貢獻單位之一。相關成果獲2017年度國家技術發明獎二等獎、2016年度教育部技術發明獎一等獎、2017年度中國專利優秀獎。整體研究成果已被著名互聯網公司與安防領域重點企業采納并投入運營。段凌宇教授現擔任新一代人工智能產業技術創新戰略聯盟(AITISA)視覺特征編碼標準組組長，依托于鵬城實驗室人工智能研究中心，圍繞數字視網膜計算框架，研究特征計算規范化問題，致力于我國自主知識產權的人工智能標準化技術。

來源 | 鵬城實驗室
撰稿 | 人工智能研究中心 邱景飛、白燕