嵌入式Linux入門級闆卡的神經網絡框架ncnn移植與測試

電子發燒友網發布了一(yī)款試用産品：米爾 MYD-Y6ULX-V2 開(kāi)發闆，基于 NXP i.MX6UL/i.MX6UL L處理器，該開(kāi)發闆被米爾稱之爲經典王牌産品。本次測試目标是在此開(kāi)發闆上進行神經網絡框架ncnn的移植與測試開(kāi)發，測試ncnn在此開(kāi)發闆上的性能與應用測試。

01.

什麽是ncnn

ncnn 是騰訊優圖推出的在手機端極緻優化的高性能神經網絡前向計算框架。也能夠在移動設備上的高性能神經網絡前向計算框架。ncnn 從設計之初深刻考慮移動端的部署和使用。無第三方依賴，跨平台，其中(zhōng)手機端 cpu的速度快于目前所有已知(zhī)的開(kāi)源框架。

基于ncnn，能夠将深度學習算法輕松移植到手機端和移動設備上高效執行，開(kāi)發人工(gōng)智能應用。以騰訊内部應用爲例，ncnn目前已在QQ，Qzone，微信，天天P圖等上得到應用。

ncnn支持大(dà)部分(fēn)常用的CNN 網絡：

Classical CNN: VGG AlexNetGoogleNet Inception …

Practical CNN: ResNetDenseNet SENet FPN …

Light-weight CNN:SqueezeNet MobileNetV1/V2/V3 ShuffleNetV1/V2 MNasNet …

Detection: MTCNNfacedetection …

Detection: VGG-SSDMobileNet-SSD SqueezeNet-SSD MobileNetV2-SSDLite …

Detection: Faster-RCNNR-FCN …

Detection: YOLOV2 YOLOV3MobileNet-YOLOV3 …

Segmentation: FCN PSPNetUNet …

騰訊優圖實驗室是主要研究計算機視覺技術，ncnn的許多應用方向也都在圖像方面，如人像自動美顔，照片風格化，超分(fēn)辨率，物(wù)體(tǐ)識别。

騰訊優圖ncnn提供的資(zī)料顯示：對比目前已知(zhī)的同類框架，ncnn是cpu框架中(zhōng)最快的，安裝包體(tǐ)積最小(xiǎo)，跨平台兼容性中(zhōng)也是最好的。以蘋果主推的CoreML爲例，CoreML是蘋果主推的 iOS gpu計算框架，速度非常快，但僅支持 iOS11以上的 iphone手機受衆太狹窄。非開(kāi)源也導緻開(kāi)發者無法自主擴展功能。

02.

ncnn功能簡介

ncnn支持卷積神經網絡，支持多輸入和多分(fēn)支結構，可計算部分(fēn)分(fēn)支無任何第三方庫依賴，不依賴 BLAS/NNPACK 等計算框架純 C++ 實現，跨平台，支持 android ios 等ARM NEON 彙編級良心優化，計算速度極快精細的内存管理和數據結構設計，内存占用極低支持多核并行計算加速，ARM big.LITTLE cpu 調度優化。

支持基于全新低消耗的 vulkan api GPU 加速整體(tǐ)庫體(tǐ)積小(xiǎo)于 700K，并可輕松精簡到小(xiǎo)于 300K可擴展的模型設計，支持 8bit 量化和半精度浮點存儲，可導入 caffe/pytorch/mxnet/onnx 模型支持直接内存零拷貝引用加載網絡模型可注冊自定義層實現并擴展。