如果你要问我现在电子产业什么最热,那无疑是ai,而基于大数据训练的深度学习技术可以说是目前ai应用的最广,最成功的产品形态了,覆盖我们生活的方方面面,诸如购物、看病、新闻编辑等,在这高深技术的背后少不了最前沿的硬件js555888金沙老品牌的技术支持。今天笔者就拿到了米尔科技与百度合作推出的一款深度学习计算卡mys-zu3eg-8e4d-edge-k1(从官方资料来看,这个版本表示搭载4gb ddr4的调试阶段的板卡,以下都将简称fz3 edgeboard),我们来看看深度学习背后到底需要什么样的硬件支持。
- 开箱
- 硬件介绍
开发板正面
开发板背面
fz3的硬件资源分布图如下:
. xczu3eg,zynq ultrascale mpsoc soc
. 4gb ddr4 sdram(64bit 2400mbps)
. 8gb emmc
. 32mb qspi
. 10/100/1000mb/s 千兆以太网 phy
. rs485 * 1,can * 1
. 1 路 tf 卡接口
. 1 路 usb2.0 物理接口,1 路 usb3.0 物理接口
. 1 路千兆 rj45 以太网接口
. 1 路 mini displayport 接口
. 1 路 pcie x1 接口
. 1 个系统复位按键,1 个 fpga 复位按键
. 1 路 mipi-csi 接口,1 路 bt1120 接口
. 1 路 jtag 接口,1 路 usb 转 uart 调试接口
. 2 个 40pin 2.54mm 间距 io 扩展接口
. 四个板载 led 状态指示
可以看到,虽然fz3很小巧,但是该有的外设资源一点也不少,而且很多外设是有别于传统嵌入式开发板的,比如搭载了4gb的ddr4 sdram ,usb3.0接口,mini displayport接口,pcie接口等,这些更像是作为生产力工具的计算机才有的,看到这些配置,是不是对这个板子更加感兴趣了?再来看下各部分接口的细节图,彻底体验下将消费电子做成工业级产品的奢侈感。
ps单元接口
mini displayport接口:1 路 mini displayport 接口,2lane,支持 dp1.2a 4k/30fps 分辨率输出。
pcie 1x 接口:1 路 pcie 1x 接口,从 ps 端引出,支持 pcie 2.1。
ps 端以太网:1 路 10/100/1000mbps 以太网 rj45 接口。
usb host :1 路 usb 2.0 接口,1 路 usb3.0 接口(含 usb2.0),一起经由底板上的双层 usb3.0type-a 接口引出,作为 host,接口为 j2,上层仅支持 usb2.0,下层支持 ubs3.0 和usb2.0。
tf 卡接口:1 路 tf 卡接口,用于启动或者存储。
microusb to uart 接口:1 路 microusb to uart 接口,用于调试开发板。
pl 单元接口
1 mipi-csi 摄像头接口:mipi 信号直接通过 pl 端的 io,进入 fpga 内部进行解码。
bt1120 视频输入接口:pl 端留有 bt1120 视频输入接口,bt1120 视频信号直接通过 pl 端的 io,进入 fpga 内部进行解码。详细 io 细节请参考 pinmap。
io 扩展接口
本开发板通过 2 个 2x20pin 的 2.54 排针进行 io 扩展,其中包含 12v,5v,3.3v,1.8v 等电源输出,can,rs485,usb2.0x2,4xpsmio,40pin pl 端 io 等信号。
电源输入接口,默认为 12v 输入,过流保护为 2a
rtc 电池接口,可使用 1.5v 的 ag3/lr41 型号电池
风扇接口,默认为 12v 供电,可以通过 pl 端 io 探测风扇转速
can 接口、rs485 接口
当然,这么多外设的扩展还是离不开板子的核心重点,赛灵思zynq ultrascale mpsoc soc xczu3eg-sfvc784。
集成了arm 四核 cortex-a53(ps),双核 cortex-r5(ps),mali-400 mp2 图形处理单元和kintex ultrascale fpga(pl)。四核 cortex-a53 具有强大的计算能力,双核 cortex-r5可用于实时处理应用,mali-400 mp2 可用于加速图形处理,而 fpga 具有完全可编程性。配合丰富的常用接口以及可扩展接口,可适应各种应用场景。
xczu3eg-sfvc784 支持 1.5ghz(最大-1)的 apu 速度,600mhz(最大-1)的 rpu速度,667mhz(最大-1)的 gpu 速度,以及高达 2400mbps 的 ddr4 速度。
基于赛灵思的xczu3eg soc,内部集成了4核arm a53处理器 gpu fpga的架构,具有多核心处理能力、fpga可编程能力以及视频流硬件解码能力等特点;内置了基于linux操作系统 百度深度学习平台-飞桨(paddle)定制的深度学习软核,深度兼容百度大脑模型资源与工具平台(easydl/aistudio),可高效、快速的实现模型的训练-部署-推理等一系列流程,极大降低了开发验证、产品集成、科研教学、项目部署的门槛。
- 上电使用
fz3 计算卡内部搭载linux系统,开发者可以基于linux系统进行应用程序进行开发。(主要调用流程:1.应用程序获取视频输入->2.调用预测库加载模型->3.调度模型和底层驱动加速模块进行计算->4.获得运行结果)
因为没有这个比较先进的minidp接口转接线,所以无奈只能通过最原始的网口访问,通过ssh连接,官方出厂默认的静态ip为:192.168.1.254,所以我配置在相应的网段内。
然后通过putty的ssh功能访问,初始的用户名和密码都是root。
登录成功后,我们可以直接通过文件管理的ftp方式访问开发板上的文件。
据官方介绍开发板有默认的深度学习示例,不过既然是和百度大脑联合的一个开发平台,我们怎么也要用自己训练的模型,所以当可以连接上fz3后,我们就向“百度大脑”开炮。
运行easydl平台模型预测
easydl是一站式的深度学习模型训练和服务平台,提供可视化的操作界面,只需上传少量图片就可以获得高精度模型。
当然,首先我们得注册个账号,然后通过场景可以选择“图像分类”或者“物体检测”。
……