項目簡介

ModelBox是一個適用于端邊云場景的AI推理應用開發(fā)框架，提供了基于Pipeline的并行執(zhí)行流程，能幫助AI應用開發(fā)者較快的開發(fā)出高效，高性能，以及支持軟硬協(xié)同優(yōu)化的AI應用，項目特點：

1. 易于開發(fā)
AI推理業(yè)務可視化編排開發(fā)，功能模塊化，豐富組件庫；c++，python，java多語言支持。

2. 易于集成
集成云上對接的組件，云上對接更容易。

3. 高性能，高可靠
pipeline并發(fā)運行，數(shù)據(jù)計算智能調(diào)度，資源管理調(diào)度精細化，業(yè)務運行更高效。

4. 軟硬件異構
CPU，ARM，GPU，NPU多異構硬件支持，資源利用更便捷高效。

5. 全場景
視頻，語音，文本，NLP全場景，專為服務化定制，云上集成更容易，端邊云數(shù)據(jù)無縫交換。

6. 易于維護
服務運行狀態(tài)可視化，應用，組件性能實時監(jiān)控，優(yōu)化更容易。