如何用百度大脑fz3深度学习卡 paddle模型创建你的应用？ -金沙js1005线路

前言：米尔科技的fz3是与百度紧密合作推出的一款基于xilinx zynq ultrascale czu3eg芯片打造的深度学习计算卡，芯片内部集成了4核arm a53处理器 gpu fpga的架构，具有多核心处理能力、fpga可编程能能力以及视频流硬件解码能力等特点。

同时内置了基于linux操作系统 百度深度学习平台-飞桨（paddle）定制的深度学习软核，深度兼容百度大脑模型资源与工具平台（easydl/aistudio），可高效、快速的实现模型的训练-部署-推理等一系列流程，极大降低了开发验证、产品集成、科研教学、项目部署的门槛。

 

如何用paddle模型开发应用？

1.模型获得

目前paddle-mobile仅支持paddle训练的模型。如果你手中的模型是不同种类的模型，需要进行模型转换才可以运行。验证过的网络包含resnet、inception、ssd、mobilenet等。

训练模型:
如果您没有模型，可以使用sample中的模型，或自己训练模型。
1.通过paddlepaddle开源深度学习框架自己训练模型； 
2.通过ai studio平台训练模型；
3.可以在easydl等平台上传标注数据，训练模型；
转换模型:
1.如果您已有caffe模型，我们提供了相应的转换工具，帮助转为paddle模型。                                                                                                              
2.如果您已有tensorflow模型，我们提供了相应的转换工具，帮助转为paddle模型。

2.连接视频数据源

fz3提供多种视频输入硬件接口，支持多种协议输入图像数据作为数据源。包括bt1120、usb、mipi、gige
等协议。
1.usb协议视频数据输入：
可以选择uvc usb摄像头作为视频源。插入usb摄像头到fz3 的usb接口
2.bt1120协议视频数据输入：
可以选择海思具有bt1120视频数据输出的网络摄像头，通过fpc排线连接fz3的bt1120接口，具体针脚的定义可参考硬件说明。
3.mipi协议视频数据输入：
可以选择适配好的mipi摄像头作为视频源，通过fpc连接fz3的mipi接口。
4.gige协议视频数据输入：
可以选择支持linux系统的gige相机，并联系我司进行相机官方sdk的适配，硬件连接fz3的网口。

3.加载驱动

使用fz3的加速功能，预测库会把计算量大的op通过驱动调用fpga进行运算。运行自己的应用前需要加载驱动，编译好的驱动位于/home/root/workspace/driver目录，提供无日志输出和有日志输出两个版本。
加载驱动

insmod /home/root/workspace/driver/fpgadrv.ko 

rmmod /home/root/workspace/driver/fpgadrv.ko 

1.在系统中添加自启动脚本

// 打开启动目录 
cd /etc/init.d/ 
// 新建启动脚本并编辑，名称可以自定义 
vim eb.sh 
脚本内容 
chmod  x /home/root/workspace/driver/fpgadrv.ko insmod /home/root/workspace/driver/fpgadrv.ko

2.建立软链接

cd /etc/rc5.d/ 
ln -s /etc/init.d/eb.sh s99eb

3.更改脚本权限

chmod  x /etc/init.d/eb.sh reboot 

set(paddle_lib_dir "${project_source_dir}/lib" ) 
set(paddle_include_dir "${project_source_dir}/include/paddle-mobile/" )
include_directories(${paddle_include_dir}) link_directories(${paddle_lib_dir}) 
... 
target_link_libraries(${app_name} paddle-mobile)

2.添加模型
拷贝自己训练的模型到您的工程中
3.添加预测数据源
可以选择图片，摄像头数据作为预测数据源，使用摄像头需要插入相应的摄像头。

usb摄像头
1）插入摄像头后，通过ls /dev/video* 查看设备接入情况。通过会显示如下：

/dev/video0 /dev/video1 /dev/video2
/dev/video2为usb摄像头v4l2输出yuv数据，当应用提示找不到设备时，可以修改src/video_classify.cpp或者 
src/video_detection.cpp。 通过/home/root/workspace/tools下video工具检测摄像头联通性 
// src/video_classify.cpp 169行config.dev_name = "/dev/video2";

2）另外可以修改摄像头分辨率

// src/video_classify.cpp 170行 
config.width = 1280; 
config.height = 720;

3）运行video工具

//读取usb摄像头，采集一张图片保存到本地 
cd /home/root/workspace/tools/video 
./v4l2demo -i /dev/video2 -j -n 1 
//如有疑问，查看帮助 
./v4l2demo -h

执行程序后在build目录下会生成jpg文件，可以查看图片否正确。如果没有生成图片，检测是否识别到usb设备。
bt1120 ipc摄像头
fz3通过bt1120协议接收原始数据进行推理后，可以把结果通过串口或spi传回ipc（bt1120、串口、spi
接口定义参考硬件说明）。可以在图片帧的像素数据中携带帧编号。
插入摄像头后，通过/home/root/workspace/tools下video工具检测摄像头联通性

1)查看设备，正常情况下设备为/dev/vide01

ls /dev/video* 
/dev/video0	/dev/video1 

media-ctl -v --set-format '"a0010000.v_tpg":0 [rbg24 1920x1080 field:none]'

3）运行video工具

//读取bt1120摄像头，采集一张图片保存到本地cd /home/root/workspace/tools/video 
./v4l2demo -i /dev/video1 -j -n 1 
//如有疑问，查看帮助 
./v4l2demo -h

执行程序后在build目录下会生成jpg文件，可以查看图片否正确。如果没有生成图片，检测bt1120连接线是否正确。
4.调用预测库加载模型和使用预测数据
初始化模型

predictor _predictor_handle = new predictor(); 
_predictor_handle->init(model, {batchnum, channel, input_height, input_width}, output_names);

准备数据
1.缩放图片到指定的大小。如果网络只能固定大小输入，需要缩放到网络输入大小。
2.图片预处理（减均值、转浮点、归一化等）.
3.产出数据，由于fz3使用的nhwc格式，通常视频过来的数据就是nhwc格式，就不需要nhwc->nchw转换。预测数据
调用api的predict接口，传输处理好的数据，获取预测结果

bool predict(const float* inputs, vector &outputs,vector > &output_shapes);

更多说明请点击了解:
http://www.myir-tech.com/product/mys-czu3eg.htm
看到这里，你是否已经掌握了用米尔fz3深度学习卡 百度飞桨（paddle）模型来打造你的各种应用？
实际应用场景参考：

本文来自金沙js1005线路-js555888金沙老品牌科技，原文地址： http://www.myir-tech.com/resource/549.asp，转载请注明出处。