OPEN AI LAB 發布Tengine大幅提升Inference性能


Tengine (OPEN Inference Engine):OPEN AI LAB針對於嵌入式終端平台以及終端AI應用場景特點。採用模塊化設計為終端人工智慧量身打造的高效、簡潔、高性能的前端推理計算框架。Tengine做為OAID核心的部件當前版本具備以下特點:

  1. 不依賴於除c/c++以外的第三方庫;
  2. 高性能的基於Arm平台的計算庫實現;
  3. 模塊化的系統設計,可以定製系統到極低的內存佔用;

使用Tengine的前端AI系統框圖

單核Arm A72@1.8GHz CPU上(SoC : rk3399),兩種典型的神經網路模型在Caffe(OpenBLAS)和Tengine的性能對比數據:

基於Tengine v0.1.0版本上完善文檔和少量修改後的 v0.1.2正式更新到github;鏈接:github.com/OAID/Tengine


OAID (Open AI Distro) :OPEN AI LAB開發的一個面向嵌入式平台終端智能,跨SoC的AI核心軟體開發包。結合基礎計算能力優化和人工智慧演算法發掘,為應用開發提供一個統一、開放、友好的資源調用介面(計算資源、演算法資源、雲計算)。

OAID所支持的前端AI系統應用

OAID做為開源項目以Apache 2.0開源許可協議Github發布;鏈接:github.com/OAID


推薦閱讀:

AI 到底進步到什麼應用程度?
無晶元不 AI !Synopsys :人工智慧時代機遇與挑戰並存
除去「惡」的一面:劍橋分析公司給AI產業何種啟示?
人類身體2070年能被機器人部件替代

TAG:人工智慧 | 深度學習DeepLearning | AI技術 |