OpenVX便携式、高能效的视觉处理

随笔2个月前发布 快乐的贝贝
35 0 0

OpenVX便携式、高能效的视觉处理

OpenVX 1.3.1 来了!

OpenVX 1.3.1 规范于 2022 年 2 月 2 日发布

 OpenVX便携式、高能效的视觉处理

OpenVX™ 是一种开放、免版税的标准,用于计算机视觉应用程序的跨平台加速。OpenVX 支持性能和功耗优化的计算机视觉处理,这在嵌入式和实时用例中尤为重要,例如面部、身体和手势跟踪、智能视频监控、高级驾驶辅助系统 (ADAS)、物体和场景重建、增强现实、视觉检查、机器人等。

OpenVX:视觉加速

OpenVX 通过可重用的视觉加速功能轻松扩展到每个低功耗领域。这为OpenVX和开发人员提供了一个关键优势,促进了广泛的采用,这提供了以下内容:

免版税开放标准 API,由硬件供应商可靠地加速,并严格定义一致性测试。
面向低功耗实时应用,包括移动和嵌入式平台。
跨各种异构处理器的可移植性,包括 ISP、专用硬件、DSP 和 DSP 阵列、GPU、多核 CPU 等。
不需要高功率 CPU/GPU 复合体。低功耗主机可以设置和管理帧速率视觉处理管道。

 

OpenVX 图形

OpenVX 允许图形级处理优化,这允许实现在可能的情况下融合节点以实现更好的整体性能。该图还允许自动图级内存优化,以实现低内存占用。OpenVX 图形优化工作负载可以部署在各种计算机硬件上,包括小型嵌入式 CPU、ASIC、APU、独立 GPU 和异构服务器。

OpenVX 开发人员表示一个称为“节点”的图像操作图,它可以位于任何以任何语言编码的任何硬件或处理器上。
OpenVX Graphs 使实施能够优化功耗和性能。实现可以融合节点以消除内存传输,并且可以平铺处理以将数据完全保存在本地内存/缓存中。
在帧速率图执行期间,OpenVX Graph 将主机交互降至最低。主机处理器可以设置一个图形,然后几乎可以自主执行。

 OpenVX便携式、高能效的视觉处理

分层视觉处理生态系统

实现者可以使用 OpenCL 或计算着色器在可编程处理器上实现 OpenVX 节点。开发人员可以使用 OpenVX 轻松地将这些节点连接到图形中。OpenVX 图形使实施者能够优化不同硬件架构的执行。OpenVX 使图形能够扩展,以包括不支持可编程 API 的硬件架构。

 OpenVX便携式、高能效的视觉处理

一致性实施

硬件供应商提供优化的 OpenVX 驱动程序,其架构旨在从其芯片架构中获得最佳性能,并可供开发人员使用。以下供应商提供符合要求的 OpenVX 驱动程序:

OpenVX 1.3 的新增功能

现在 OpenVX API 已经发展到一组广泛的功能,人们有兴趣创建针对一组功能的实现,而不是涵盖整个 OpenVX API。为了在提供此选项的同时仍管理 API,以防止在哪些实现提供哪些功能方面出现过度碎片化,OpenVX 1.3 规范定义了一组功能集,这些功能集构成了 OpenVX API 的连贯且有用的子集。这些功能集包括:

基本功能集(基本图形基础结构)
视觉(OpenVX 1.1 等效视觉功能)
增强视觉(OpenVX 1.2 中引入的视觉功能)
神经网络(OpenVX 1.2 等效的神经网络函数,以及神经网络扩展和张量对象)
NNEF(内核导入加上张量对象)
二进制映像支持 (U1)
部署功能集(用于安全关键用途)

随着 OpenVX 1.3 的发布,流水线、神经网络和导入内核扩展也在更新。有关所有扩展和功能的列表,请转到 OpenVX 注册表 。

OpenVX 历史

OpenVX 规范和一致性测试于 2014 年发布。随后是 2015 年的 1.0.1 版规范和开源示例实现,2016 年嵌入式视觉峰会的 1.1 版,以及 2017 年嵌入式视觉峰会的 1.2 版。

OpenVX 功能集

为了在避免碎片化的同时实现部署灵活性,OpenVX 1.3 定义了许多针对常见嵌入式用例的功能集。硬件供应商可以在其实施中包含一个或多个完整的功能集,以满足其客户的需求并完全符合要求。OpenVX 的灵活性支持在各种加速器架构上部署,并且功能集有望显著增加可用 OpenVX 实现的广度和多样性。定义的 OpenVX 1.3 功能集包括:

图形基础结构(其他功能集的基线),
默认愿景,
增强视觉(OpenVX 1.2 中引入的功能),
神经网络推理(包括张量对象),
NNEF 内核导入(包括张量对象),
二进制图像,
安全关键(减少功能,以便更轻松地进行安全认证)。

OpenVX 和 OpenCV 是互补的

 

OpenCV

OpenVX

实现

社区驱动的开源库

由硬件供应商实施、优化和交付的可调用 API

范围

100 多种成像和视觉功能
多个相机 API/接口

紧紧关注数十个核心硬件加速功能以及扩展和加速自定义节点。
使用外部摄像头驱动程序

一致性

广泛的 OpenCV 测试套件,但没有正式的
Adopters 计划

实施必须通过 Khronos 一致性测试套件才能使用商标

知识产权保护

没有。源代码在 BSD 下获得许可。
某些模块需要版税/许可


Khronos IP 框架保护 – Khronos 成员同意在合规实施中使用时不针对 API 主张专利

加速度

OpenCV
3.0 透明 API(或 T-API)支持将功能卸载到 OpenCL 设备

实现免费使用任何底层 API,例如
OpenCL。可以将 OpenCL 用于自定义节点

效率

OpenCV
4.0 G-API 图形模型,用于某些过滤器、算术/二进制运算和定义明确的几何变换

所有节点的基于图形的执行。
可优化的计算和数据传输

推理

深度神经网络模块,用于从层构建网络,仅用于前向传递计算。
从 ONNX、TensorFlow、Torch、Caffe
导入

直接在 OpenVX Graph 中表示的神经网络层和操作。
NNEF 直接导入,ONNX 通过 NNEF 转换器

 

参考文献链接

https://www.khronos.org/openvx/

© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...