當前位置：首頁 > 資訊 > 社區(qū)動態(tài) >
零售行業(yè)是我國非常重要的行業(yè)之一，隨著手機支付和購物用戶數(shù)量的不斷提高，以及數(shù)字化技術(shù)的不斷發(fā)展，零售行業(yè)的企業(yè)尤其是線下體驗店對數(shù)字化轉(zhuǎn)型的意愿不斷加強，未來我國智慧零售行業(yè)有望持續(xù)快速發(fā)展。
那么，零售行業(yè)有哪些痛點？人工智能在零售行業(yè)又能有哪些技術(shù)突破和創(chuàng)新呢？
今天，OpenI要為大家介紹社區(qū)最新入駐且正進入社區(qū)孵化管道的零售行業(yè)開源項目【袋鼯麻麻ColugoMum】，該項目由一群優(yōu)秀的本科生組成的ColugoMum團隊，基于國產(chǎn)深度學習開源框架飛槳PaddlePadddle開發(fā)，針對中小型線下零售體驗店提供了一系列解決方案。
項目開源地址：
目前在零售行業(yè)的實際運營過程中，會產(chǎn)生巨大的人力成本，例如導購、保潔、結(jié)算等，而其中，尤其需要花費大量的人力成本和時間成本在識別商品并對其進行價格結(jié)算的過程中，并且在此過程中，顧客也因此而需要排隊等待。這樣一來零售行業(yè)人力成本較大、工作效率極低，二來也使得顧客的購物體驗下降。
隨著計算機視覺技術(shù)的發(fā)展，以及無人化、自動化超市運營理念的提出，利用圖像識別技術(shù)及目標檢測技術(shù)實現(xiàn)產(chǎn)品的自動識別及自動化結(jié)算的需求呼之欲出，即自動結(jié)賬系統(tǒng)（Automatic checkout, ACO）。
基于計算機視覺的自動結(jié)賬系統(tǒng)能有效降低零售行業(yè)的運營成本，提高顧客結(jié)賬效率，從而進一步提升用戶在購物過程中的體驗感與幸福感。
AI結(jié)算的核心是圖像識別。圖像識別的準確率決定了AI結(jié)算落地的可行性。目前，AI結(jié)算面臨著如下幾個痛點問題：
商品包裝相似：同類別商品口味不同且價格也不同，不同類別商品外包裝相似，都對圖像識別精度具有較高的要求；
干擾因素眾多：同類別商品在識別時容易因角度問題發(fā)生變形、折疊、遮擋等干擾，對識別結(jié)果造成影響；
品類更新極快：零售商品通常以小時級別速度更新迭代，每增加新產(chǎn)品時若僅靠單一模型均需重新訓練模型，模型訓練成本及時間成本極大；
系統(tǒng)性能要求高：需要同時解決檢測和識別兩個任務，選模型和優(yōu)化時要權(quán)衡精度與速度兩方面。
袋鼯麻麻ColugoMum致力于為中小型線下零售體驗店提供基于視覺的零售結(jié)算方案。
基于上述痛點問題，ColugoMum團隊采用飛槳PaddleClas[1]團隊提出的PP-ShiTu[2]圖像識別系統(tǒng)。
基于PP-ShiTu實現(xiàn)的商品識別方案為零售場景中商品多類別、小樣本、高相似和更新頻繁問題提供了新的思路，不僅能對多類別商品進行精準識別，也可以滿足對預測效率的極致追求。
尤為實用的功能在于：實際上線使用的時候，遇到新的需要識別的商品類別，無需重新訓練模型，只需要在檢索庫中增加該類別圖像特征，就能夠?qū)崿F(xiàn)對新商品的識別！
PP-ShiTu是一個實用的輕量級通用圖像識別系統(tǒng)，主要由主體檢測、特征學習和向量檢索三個模塊組成。該系統(tǒng)從骨干網(wǎng)絡選擇和調(diào)整、損失函數(shù)的選擇、數(shù)據(jù)增強、學習率變換策略、正則化參數(shù)選擇、預訓練模型使用以及模型裁剪量化8個方面，采用多種策略，對各個模塊的模型進行優(yōu)化，并經(jīng)過10w+類別數(shù)據(jù)進行訓練，最終得到在CPU上預測時間僅需0.2s的多場景通用圖像識別系統(tǒng)。
簡單來說，PP-ShiTu的使用分為三步：
通過主體檢測模型，對圖片中的物體一一識別；
對每個候選區(qū)域進行特征提取；
將特征提取后的向量在檢索庫中進行檢索，完成匹配，返回識別結(jié)果。
考慮到實際零售場景對于精度和預測速度的極致追求，ColugoMum團隊在主體檢測部分選取了PicoDet模型作為主體檢測算法，選取了輕量級PPLCNet_x2_5_ssld模型用作特征提取，最后使用向量搜索模塊Faiss中的HNSW32作為檢索算法，實現(xiàn)速度與精度的極致平衡。
基于此，ColugoMum團隊基于RP2K數(shù)據(jù)集已經(jīng)實現(xiàn)了最高96.91%的預測精度。
RP2K數(shù)據(jù)集[3]：收錄了50萬+張零售商品貨架圖片，商品種類超過2,000種，是目前零售類數(shù)據(jù)集中產(chǎn)品種類數(shù)量最多的數(shù)據(jù)集。不同于一般聚焦新產(chǎn)品的數(shù)據(jù)集，RP2K收錄了超過50萬張零售商品貨架圖片，商品種類超過2000種，該數(shù)據(jù)集是目前零售類數(shù)據(jù)集中產(chǎn)品種類數(shù)量TOP1，同時所有圖片均來自于真實場景下的人工采集，針對每種商品，品覽提供了十分詳細的標注。
此外，ColugoMum也收集整理了業(yè)內(nèi)SKU級別的商品圖像數(shù)據(jù)集，并期待和開發(fā)者們一道， 開源出能夠在業(yè)內(nèi)有影響力、符合實際場景應用需求的數(shù)據(jù)集。
數(shù)據(jù)集地址：
并且，ColugoMum團隊開源了基于RP2K數(shù)據(jù)集的高精度訓練模型和預測模型。開發(fā)者可以在提供的訓練模型上基于自己的數(shù)據(jù)進行微調(diào)，也可以使用提供的預測模型直接進行預測體驗。同時，ColugoMum也開啟了基于RP2K的打榜活動，歡迎開發(fā)者們參與。
地址：
部署方面使用飛槳服務化部署框架Paddle Serving[4]進行部署，滿足用戶批量預測、數(shù)據(jù)安全性高、延遲低的需求，在CPU上僅需0.2秒即可實現(xiàn)預測效果，真正做到預測速度與精度的極致平衡。
為了方便開發(fā)者們更好地理解PP-ShiTu、更好地利用其在圖像識別領(lǐng)域的優(yōu)勢，ColugoMum團隊開源了基于圖像識別的智慧零售商品識別教程，開發(fā)者可以在此基礎(chǔ)上使用PP-ShiTu快速對接業(yè)務。
教程地址：
基于上述核心技術(shù)，目前ColugoMum團隊利用PP-ShiTu技術(shù)，開源了云邊一體、符合實際場景應用需求的商品識別Smart_container。其能夠精準地定位顧客購買的商品，并進行智能化、自動化的價格結(jié)算。
項目地址：
當顧客將自己選購的商品放置在制定區(qū)域內(nèi)時，Smart_container能夠精準地定位識別每一個商品，并且能夠返回完整的購物清單及顧客應付的實際商品總價格。而當系統(tǒng)有新商品增加時，只需更新檢索庫即可，無需重新訓練模型。
Smart_container覆蓋硬件結(jié)算臺、小程序管理平臺、大數(shù)據(jù)可視化平臺，實現(xiàn)了多端統(tǒng)一，智慧管理。
顏鑫
華東理工大學自動化專業(yè)大三在讀，研究方向為多機器人的協(xié)同控制與決策，主要興趣點為計算機視覺、強化學習、推理部署。飛槳開發(fā)者技術(shù)專家、Datawhale成員、華為云享專家、國家級大學生創(chuàng)新創(chuàng)業(yè)項目第一主持人，曾獲第十三屆“挑戰(zhàn)杯”大學生創(chuàng)業(yè)計劃競賽上海市銅獎、華東理工大學第十屆“奮進杯”大學生創(chuàng)業(yè)計劃競賽金獎、PPSIG優(yōu)秀開源項目獎等。
顏鑫的開發(fā)心得
很榮幸能夠有這樣的機會，我們能在啟智社區(qū)分享團隊針對“AI+實體零售”的一些想法和一些成果。
在項目的實際開發(fā)過程中，團隊曾面臨著非常多的困難，比如缺乏一個穩(wěn)定的協(xié)同開發(fā)環(huán)境導致開發(fā)效率極低、模型訓練需要大量的計算資源導致我們一度陷入困境。
好在啟智社區(qū)為我們提供了鵬城實驗室的鵬城云腦1計算資源，這不僅大大減少了我們在硬件方面的投入成本，更是完美解決了我們在開發(fā)環(huán)境不完善和計算資源不充足等方面的瓶頸，才使ColugoMum項目的開發(fā)周期得以極大縮短。
此外，由于當前國際形式的強烈不穩(wěn)定性，ColugoMum在框架選擇上選取了國產(chǎn)深度學習開源框架飛槳PaddlePaddle，在開發(fā)過程中也受到了來自飛槳PaddleClas團隊的大力支持，也期待國產(chǎn)深度學習開源框架能越來越好。
后面ColugoMum團隊會不斷打破產(chǎn)品和技術(shù)邊界，依托啟智社區(qū)，開源出更多更好的、能真正賦能實體零售的開源項目，真正推動我國實體零售向智能化、數(shù)字化轉(zhuǎn)型，也期待眾多開發(fā)者能加入我們。
沈晨
華東理工大學信息工程專業(yè)大三在讀，曾獲得CRAIC中國機器人及人工智能大賽上海市二等獎、上海市大學生計算機應用能力設計大賽上海市二等獎，華東理工大學第十屆“奮進杯”大學生創(chuàng)業(yè)計劃競賽金獎，參與多個大型優(yōu)秀開源項目，擁有軟件著作權(quán)兩篇，曾在IEEE國際會議發(fā)表論文一篇，另有一項實用新型專利正在受理。曾任信息學院團委組織部副部長，獲得校優(yōu)秀獎學金和優(yōu)秀學生先進稱號。
沈晨的開發(fā)心得
很高興能得到在啟智社區(qū)分享我們團隊項目的機會，這能讓更多人看到我們團隊的努力成果，是ColugoMum項目的一次機遇，同時本人也很榮幸能參與ColugoMum項目的開發(fā)工作。
在項目開發(fā)過程中，我得到了很多學習和成長的機會，不管是在項目初期的程序開發(fā)階段還是在目前的交流成長階段，同團隊成員一起精心打磨項目的過程雖然辛苦，但卻是對自己的挑戰(zhàn)與要求，并且與團隊成員一起努力和成長本身就是一件快樂的事情，這讓我受益匪淺。
與此同時，啟智社區(qū)和飛槳PaddleClas團隊也給予了我們團隊莫大的支持和幫助，這讓我們能夠花更少的時間去尋求資源，轉(zhuǎn)而精心打磨項目。
未來，我也將和團隊成員一起，推動ColugoMum項目走向更廣闊的沃土，為推動實體零售的智能化、數(shù)字化做出自己的努力。
杜旭東
華東理工大學信息工程專業(yè)大三在讀，熟練掌握C/C++/Python/Jave/Matlab/verilog等多種編程語言，上海市大學生計算機應用能力設計大賽上海市二等獎，參與多個大型優(yōu)秀開源項目，擁有軟件著作權(quán)兩篇，一項實用新型專利正在受理。曾任信息學院社團管理部副部長，獲得校優(yōu)秀獎學金。
此外，團隊也向曾參與項目研發(fā)的同學表示感謝：黃小悅、王鑫、趙祎安、周天奕、申佳川等。
面對當前國際形式的強烈不穩(wěn)定因素，ColugoMum團隊認為國產(chǎn)的深度學習框架以及本土的托管平臺在當前形式下更加穩(wěn)妥。因此，在項目推進過程中，除了選用國產(chǎn)深度學習開源框架飛槳PaddlePadddle之外，團隊也受到了來自OpenI啟智社區(qū)的強力支持。基于啟智社區(qū)中AI協(xié)作平臺的協(xié)同開發(fā)能力、豐富的計算資源以及強有力的資源對接能力等，團隊能夠更快更高效地開展實驗、推進項目，大大縮短開發(fā)周期，推動AI在實體零售行業(yè)的真正落地應用。
最后，OpenI啟智社區(qū)歡迎更多開發(fā)者共同參與零售商品識別數(shù)據(jù)集、商品識別打榜以及Smart Container的開源共建活動，推動我國實體零售向數(shù)字化、智能化方向轉(zhuǎn)型發(fā)展，真正實現(xiàn)ColugoMum“降本增效、賦能零售”的使命。
同時，社區(qū)也歡迎更多優(yōu)秀的項目入駐OpenI進行開源開放，社區(qū)將提供平臺資源和激勵機制幫助項目孵化發(fā)展和開發(fā)者培育，共同促進AI開源開放生態(tài)體系建設。
參考文獻
1.https://github.com/PaddlePaddle/PaddleClas
2. S. Wei et al., "PP-ShiTu: A Practical Lightweight Image Recognition System," arXiv preprint arXiv:2111.00775, 2021.
3. J. Peng, C. Xiao, and Y. Li, "RP2K: A large-scale retail product dataset for fine-grained image classification," arXiv preprint arXiv:2006.12634, 2020.
4.https://github.com/PaddlePaddle/Serving