我們不僅提供錘子,還制造釘子,捕光制電,讓我們打開前所未見的視覺新世界。”現有的開源框架主要提供圖像處理或者算法工具,而SpikeCV不僅提供脈沖處理工具及脈沖視覺算法,還提供脈沖相機硬件算法接口及規范化的脈沖數據集。若把工具比喻成錘子,那么數據就是釘子。SpikeCV不僅提供錘子,也提供釘子。利用錘子和釘子,用戶可使用脈沖相機實現任意連續視覺任務。
圖. SpikeCV框架。主要包含數據集、設備接口和模塊庫三大部分
與現有開源框架主要提供圖像處理或者算法工具不同,SpikeCV提供了脈沖處理工具、脈沖視覺算法、脈沖相機硬件接口以及規范化的脈沖數據集。SpikeCV主要采用的編程語言為Python,與硬件交互的底層語言采用C++編寫。用戶可以使用脈沖相機實現任意連續視覺任務,并且方便地使用當前主流的數據分析和深度學習工具庫,例如NumPy、Scipy和Pytorch等。
SpikeCV不僅提供了工具,也提供了數據。規范化的數據集中包括脈沖相機拍攝的真實場景和模擬的脈沖流,及對應的視頻、光流、深度、物體類別等標簽信息。除了配套的數據集,還提供離線及實時數據接口,可供用戶自定義場景采集數據集或測試算法在線性能。模塊庫中提供了脈沖數據加載接口、各類脈沖算法庫接口及配套的開發工具庫?!?/p>