嵌入式Linux入门级板卡的神经网络框架ncnn移植与测试-九游i.MX6UL开辟板

首页
产品中心
办事与支持
新闻中心
关于九游
本篇测评由电子发热友的良好测评者“ALSET”提供。

电子发热友网公布了一款试用产品：九游 MYD-Y6ULX-V2 开辟板，基于 NXP i.MX6UL/i.MX6UL L处置器，该开辟板被九游称之为经典王牌产品。本次测试目的是在此开辟板上举行神经网络框架ncnn的移植与测试开辟，测试ncnn在此开辟板上的功能与使用测试。

01.

什么是ncnn

ncnn 是腾讯优图推出的在手机端极致优化的高功能神经网络前向盘算框架。也可以在挪动设置装备摆设上的高功能神经网络前向盘算框架。ncnn 从设计之初深入思索挪动真个摆设和利用。无第三方依赖，跨平台，此中手机端 cpu的速率快于现在一切已知的开源框架。
基于ncnn，可以将深度学习算法轻松移植得手机端和挪动设置装备摆设上高效实行，开辟人工智能使用。以腾讯外部使用为例，ncnn现在已在QQ，Qzone，微信，每天P图等上失掉使用。
ncnn支持大局部常用的CNN 网络：
Classical CNN: VGG AlexNetGoogleNet Inception …
Practical CNN: ResNetDenseNet SENet FPN …
Light-weight CNN:SqueezeNet MobileNetV1/V2/V3 ShuffleNetV1/V2 MNasNet …
Detection: MTCNNfacedetection …
Detection: VGG-SSDMobileNet-SSD SqueezeNet-SSD MobileNetV2-SSDLite …
Detection: Faster-RCNNR-FCN …
Detection: YOLOV2 YOLOV3MobileNet-YOLOV3 …
Segmentation: FCN PSPNetUNet …
腾讯优图实行室是次要研讨盘算机视觉技能，ncnn的很多使用偏向也都在图像方面，如人像主动美颜，照片作风化，超辨别率，物体辨认。
腾讯优图ncnn提供的材料表现：比拟现在已知的同类框架，ncnn是cpu框架中最快的，安置包体积最小，跨平台兼容性中也是最好的。以苹果主推的CoreML为例，CoreML是苹果主推的 iOS gpu盘算框架，速率十分快，但仅支持 iOS11以上的 iphone手机受众太局促。非开源也招致开辟者无法自主扩展功效。

02.

ncnn功效简介

ncnn支持卷积神经网络，支持多输出和多分支布局，可盘算局部分支无任何第三方库依赖，不依赖 BLAS/NNPACK 等盘算框架纯 C++ 完成，跨平台，支持 android ios 等ARM NEON 汇编级本心优化，盘算速率极快精密的内存办理和数据布局设计，内存占用极低支持多核并行盘算减速，ARM big.LITTLE cpu 调理优化。
支持基于全新低斲丧的 vulkan api GPU 减速全体库体积小于 700K，并可轻松精简到小于 300K可扩展的模子设计，支持 8bit 量化和半精度浮点存储，可导入 caffe/pytorch/mxnet/onnx 模子支持间接内存零拷贝援用加载网络模子可注册自界说层完成并扩展。
ncnn与同类框架比拟

03.

在i.MX 6ull上移植编译ncnn

工程地点：

githubhttps://github.com/Tencent/ncnn 从工程的readme文件看，该工程曾经支持许多嵌入式CPU的架构，此中就有arm 32位版本。
既然支持arm32位，那么ixm6ull处置器也应该支持，即动手编译MYD-Y6ULX-V2开辟板上的版本。
1.从github 上拉取ncnn源码
在主机上实行下令：
Sudo git clone https://github.com/Tencent/ncnn.git
可见是一个 cmake工程，那么实验cmake 编译。
2.首次利用camke编译
先辈入ixml6ull的SDK下，切换到交织编译情况，然后创立 build 目次，进入build目次下，实行cmake下令
cmake ../
从输入信息上看 cmake失败，检察cmake 日记，发明错误缘故原由是cmake在天生开辟板的makefile文件时，必要指定利用的编译东西链。
3.添加imx6ull开辟板的编译设置装备摆设
依据剧本的历程，在toolchains目次下，有许多别的开辟板的编译设置装备摆设文件，参照别的开辟板的设置装备摆设文件，添加一个该开辟板的设置装备摆设文件。
文件名：arm-poky-linux-gnueabi.cmake
内容如下：
```
set(CMAKE_SYSTEM_NAME Linux)set(CMAKE_SYSTEM_PROCESSOR arm)set(CMAKE_C_COMPILER "arm-poky-linux-gnueabi-gcc")set(CMAKE_CXX_COMPILER "arm-poky-linux-gnueabi-g++")set(CMAKE_FIND_ROOT_PATH_MODE_PROGRAM NEVER)set(CMAKE_FIND_ROOT_PATH_MODE_LIBRARY ONLY)set(CMAKE_FIND_ROOT_PATH_MODE_INCLUDE ONLY) set(CMAKE_C_FLAGS "-march=armv7-a -mfloat-abi=hard -mfpu=neon --sysroot=/home/lutherluo/workspace/fsl-imx-fb/5.10-gatesgarth/sysroots/cortexa7t2hf-neon-poky-linux-gnueabi") set(CMAKE_CXX_FLAGS "-march=armv7-a -mfloat-abi=hard -mfpu=neon --sysroot=/home/lutherluo/workspace/fsl-imx-fb/5.10-gatesgarth/sysroots/cortexa7t2hf-neon-poky-linux-gnueabi") # cache flagsset(CMAKE_C_FLAGS "${CMAKE_C_FLAGS}" CACHE STRING "c flags")set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS}" CACHE STRING "c++ flags")
```
4.再利用cmake天生编译文件
添加完该开辟板的编译东西链后，就可以利用cmake来天生编译所需的makefile文件了。在cmake时，可以指定除了编译ncnn库外，还可以编译ncnn例子步伐。下令如下：
cmake-DCMAKE_BUILD_TYPE=Release -DNCNN_SIMPLEOCV=ON-DCMAKE_TOOLCHAIN_FILE=../toolchains/arm-poky-linux-gnueabi.cmake-DNCNN_BUILD_EXAMPLES=ON ..
检察目次下，曾经顺遂地天生了 Makefile文件。
5.利用make编译文件
然后可以正式编译ncnn库和测试样例步伐了。
间接实行
make –j4
就开端痛快地编译了。
编译libncnn库文件乐成，会持续主动编译 examples 下的例子文件。
约莫10多分钟，顺遂地所有编译完成。
在编译测试用例时，会呈现库款式错误的提醒，此时必要设置一下交织编译情况下的库归档东西，体系默许利用的是arm-poky-linux-gnueabi-ar 东西，这个东西发生的 .a文件有题目，颠末测试利用 arm-poky-linux-gnueabi-gcc-ar 即可。
只必要在实行切换交织情况剧本后，再独自实行一下以下下令即可修正该题目：
export ar=arm-poky-linux-gnueabi-gcc-ar
再举行编译即可。
6.检察编译后果
编译完成后，在build目次下，可以看到 benchmark 目次，该目次下便是ncnn的基准测试东西，可以看到目的板实行文件曾经编译出来。
再进入到 build/example 下，可以看到一切例程也编译出来了。

04.

板上运行测试ncnn

编译完成把可实行文件与模子文件复制到开辟板里举行测试。
把 build/benchmark 下的benchmark 复制到开辟板/home/root/ncnn 目次下，同时把工程根目次下的benchmark 目次下一切文件也复制到开辟板 /home/root/ncnn目次下，

然后就可以实行 benchmark 实行文件来测试开辟板的人工神经网络的盘算才能。
先把开辟情况下目的文件体系arm目次下/usr/lib下的libgomp.so.1文件复制到开辟板的/usr/lib下，这个文件是并行盘算库，ncnn编译时用到了这个库，这个库在多核处置器上可以支持实行并行盘算。然后再在本开辟板实行benchmark，实行输入后果如下图：

可见大局部的模子可以跑通了，有局部模子运转呈现非常。
从抛出的分值可以评价该开辟板的神经网络推理盘算才能了。
这个分值是一个模子推理一次的耗时，以是数值越小意味着算力越强。思索到这个开辟板是一个arm v7入门级的开辟板，如许的功能曾经超乎意料了。

05.

测试基于ncnn的使用

这里在MYD-Y6ULX-V2开辟板上测试ncnn的使用例子，这里就用ncnn下的例程来做测试，在下面编译完example后，在build目次下会发生example的目的板的可实行文件。编译出来的例子步伐如下,把他们所有传到开辟板上。

必要留意的是，除了ncnn的使用实行文件，在这些例子实行的时分，还必要模子和测试的资源文件，而这些文件体积都比力大，因而不克不及传送到开辟板的体系目次上，必要独自存在扩展的存储空间上。
颠末察看板上的文件体系，发明有3.1G的空间没有利用，此时可以利用fdisk 来款式化该空间，款式化成 ext4 款式，重启板子后，就可以看到这局部空间了，然后把ncnn的一切测试实行文件和资源文件传到该目次下，如许就够用了。

在板上实行各个测试例子，会提醒短少相干模子文件和参数文件，这些模子和参数文件在这个github下面，下载响应的文件到以后目次下就可以。
https://github.com/nihui/ncnn-assets/tree/master/models

1. 测试图片分类器
预备被测试图片,test,jpg ,传到上ncnn以后目次下

而且下载好 squeezenet_v1.1.param和 squeezenet_v1.1.bin 文件到 ncnn以后目次下，然后实行一下下令：
./squeezenet./test.jpg
很快就输入辨认后果，输入后果如下图

输入后果后面的编号和分类号，详细可以参考：
mageNet20121000分类称号和编号
https://zhuanlan.zhihu.com/p/315368462
但不知本测试模子所用分类的版本能否和这个分歧。
2 测试图片内容多目的辨认
测试图片内容辨认，先用下面的图，再利用 squeezenetssd 来实行。实行前先下载 squeezenet_ssd_voc.bin和 squeezenet_ssd_voc.param 到板上ncnn以后目次下，然后实行：
./squeezenetssd./test.jpg
约莫3秒左右输入后果如图：

输入的分类编号，可见代码的界说：

同时输入了辨认后果图：

再测试别的一张图;

实行后果如下：

输入辨认后果图：

下面的辨认，由于输入的第二个目的被第三个目的遮掩，第二个辨认为“Dog”，以是辨认正确度照旧比力高的。
再测试了一张图：
输入：

辨认结果也比力抱负。

06.

ncnn移植测试总结

颠末在MYD-Y6ULX-V2开辟板上，举行这次的ncnn移植测试，总体十分顺遂，在移植中只必要针对开辟板的编译器，修正添加响应的编译剧本即可顺遂的编译ncnn库和一切例程。并不必要对代码做任何窜改大概调解，因而历程很快，长久的工夫就可以完成ncnn如许一个神经网络框架在本开辟板上运转起来。

对ncnn的benchmark的功能测试来看，由于本开辟板仅为arm v7单核处置器，处于入门级的一款开辟板，能跑出如许的成果曾经出人意料[chū rén yì liào]。
在对实践图像分类和图像内容辨认测试中，此中图像分类仅百十毫秒就出后果，对多目的辨认单张图在2秒左右，这对一些静态的情况下曾经可以到达商业利用的需求了，再综合其硬件功能，可奏效能比黑白常高的。同时工程里还带有一些种种别的框架模子转化ncnn的东西，利便将别的模子转化到ncnn下去利用，十分利便。
同时也测试出ncnn的精良的可移植性和对差别嵌入式硬件的支持较好，别的任何一个神经网络框架我害怕无法在如许一个体系上运转，因而也为如许一个无效的国产开源神经网络项目点赞。

产品中心	办事与支持	关于九游	联系九游	存眷九游
ARM开辟东西 ARM中心板 Xilinx中心板充电桩方案模块配件	定礼服务技能支持下载中心技能文章	公司简介文明理念新闻中心联系九游	商业互助：sales.>### 华北�>### 华南�>### 华东�>### 深圳�>### 深圳市龙岗区坂田兴旺路云里智能园2栋604	扫码存眷大众号扫码存眷视频号扫码存眷抖音号
© 2020 Myir