如何評價九言科技推出的DL inference SDK In-Prestissimo（絕影）？

深度學習開源框架，移動端應用部署

絕影是我司在探究深度學習移動端化的過程中孵化出的框架， 目的是為了加快深度學習相關應用在移動端的inference階段的速度， 從計算效率上看， 目前的結果（具體的，可以看github上的benchmark result），在眾多開源dl inference框架中移動端運行速度處於很靠前的位置， 後續我們會繼續擴充benchmark的模型和對比更多的框架。

眾所周知， 近幾年深度學習取得了很大的發展， 大家都迫不及待地進行產品化。移動端是很大的一個dl應用市場， 然而dl的模型也伴隨著巨大的計算量， 雖然在移動端化的過程中， 會進行根據特定場景性進行模型簡化， 對於一些實時類應用， 性能仍然是一大瓶頸。 這個問題也不斷地引起各方的重視， 如Arm公司的Compute Library， 高通的SNPE， 蘋果的MPS、BNNS等等， 都在運算平台方面做了很多工作。 但這些庫，不少都強依賴於平台、硬體（SNPE只有最新幾款高通的晶元可以使用， 蘋果的只能iOS平台）， 對於app公司還是很多限制。 因此我司內部開發了絕影框架， 主要針對內存布局，低精度計算， 結合NEON指令，進行了很多彙編級的優化。

目前絕影也運用到了我們的產品中，把絕影sdk開放出來也是拋磚引玉，一起繁榮移動端深度學習，降低dl在移動端應用的門檻。

放一個benchmark的結果截圖

雖然絕影現在速度還不錯， 但仍有不少可優化的空間， 以及一些加速方法需要我們去探究，我們會繼續努力。

歡迎大家試玩sdk, 歡迎測試把玩。

SDK地址

1、這個是移動端使用的框架，旨在使訓練好的深度學習框架高效跑在手機端，類似於 ncnn。

2、目前來看，這個是開源/開放出來的框架中性能最好的。

3、這個框架並不是開源，只是開放sdk，對一般的開發者而言不需要編譯，更好上手。

附： github 地址：in66-dev/In-Prestissimo