ONNX（Open Neural Network eXchange，开放神经网络交换）是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。它使得不同的人工智能框架（如Pytorch, TensorFlow）可以采用相同格式存储模型数据并交互。 ONNX的规范及代码主要由微软，亚马逊 ，Facebook 和 IBM 等公司共同开发，以开放源代码的方式托管在Github上。
相关网站：【1】https://onnx.ai/ 【2】https://onnxruntime.ai/index.html
- 这里使用的是正点原子的7020小系统板。
- 镜像版本为2.6。
- 理论上在其他开发板上的PYNQ环境中也能跑通。
- 这里研究的是怎么在PYNQ中的ARM（带操作系统）上安装与部署ONNX。下述的安装与部署均是基于Python。
- 因为在PYNQ-ARM上一般仅执行推理，所以仅需安装运行时环境：onnxruntime，选择1.4版本。
- 研究PYNQ-ARM端的部署并非是完全抛弃PYNQ上的FPGA，而是根据需求来选择由ARM还是FPGA来负责算法的推理，或者是两者结合。
- PYNQ的ONNX安装与部署都存在一定的“坑”，并不是一条安装指令就能解决！注意下面的说明。
- PYNQ本身就自带了完整的Python3.6和pip的环境，除了pynq包还有众多的第三方包。所以Python本身不需要做什么改动。
- 从https://github.com/nknytk/built-onnxruntime-for-raspberrypi-linux/tree/master/wheels/buster下载whl包 : onnxruntime-1.4.0-cp36-cp36m-linux_armv7l.whl, 并上传至开发板。
- 注意，这里直接pip3 install这个whl包是无法安装成功的！！！会遇到两个问题：
- 自动下载的依赖包protobuf版本过高，会提示只有Python3.7才能兼容。这时千万不要尝试升级Python至3.7以上，否则可能会导致核心工具pynq不可用！这时只需单独安装protobuf，指定版本号3.19.3：
- 自动下载的依赖包numpy过高，导致与自带的Cython版本不匹配无法编译。因为onnxruntime需要的numpy版本至少要1.16.6，自带的numpy1.13.3不能满足需求，所以会下载最新版本，但是又太新了，导致不能编译与安装！这时也需要单独安装numpy 1.16.6（可能时间会很长，耐心等待完成）：
- 完成上述两步后再安装onnxruntime的whl包, 在该whl包所在的目录下：
- 至此，onnxruntime包的安装已经完成，可以在控制台中启动python并import onnxruntime，发现没有报错。
- 分别使用PyTorch和TensorFlow.Keras搭建了一个1维的CNN，并分别将其转化为onnx文件（其中Keras需要额外依赖第三方包tf2onnx，pip安装即可），并使用onnxruntime运行。
不能保证所有的用户模型都能顺利转换并运行，其各版本对各算子的支持情况需要注意。
到此这篇onnx模型部署（onnx模型部署java）的文章就介绍到这了,更多相关内容请继续浏览下面的相关推荐文章，希望大家都能在编程的领域有一番成就！版权声明：
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！
转载请注明出处，原文链接：https://www.xkablog.com/jjc/17840.html