当前位置：首页 » 行业动态 » Renesas采用RA8D1 MCUs的图形和视觉AI应用

Renesas采用RA8D1 MCUs的图形和视觉AI应用

来源：康比电子查看手机网址

扫一扫!

扫一扫!

浏览：- 发布日期：2024-03-13 10:22:24【大中小】

分享到：

Renesas采用RA8D1 MCUs的图形和视觉AI应用

视觉人工智能（即计算机视觉）是指允许系统感知和解释视觉数据并根据对这些数据的分析做出自主决策的技术。这些系统通常具有用于获取视觉数据的相机传感器，该视觉数据作为输入激活提供给在大型图像数据集上训练的神经网络以识别图像。视觉人工智能可以支持许多应用，例如用于故障检测的工业机器视觉、自动驾驶汽车、安全应用中的人脸识别、图像分类、对象检测和跟踪、医疗成像、交通管理、路况监控、客户热图生成等。

在我之前的博客中，利用业界最强大的Arm MCUs为您的边缘AI应用提供动力》中，我讨论了采用Cortex的强大RA8系列MCU的一些关键性能优势®-M85内核和氦气使其非常适合语音和视觉AI应用。如上所述，石英晶振更高性能的MCU以及更适合终端设备中使用的资源受限的MCU的瘦神经网络模型的出现，使这些边缘AI应用成为可能。
在这篇博客中，我将讨论一个基于RA8D1支持图形的MCU采用相同的Cortex-M85内核，并使用氦气来加速神经网络。RA8D1 MCUs提供了高级图形功能、传感器接口、大内存和强大的Cortex-M85内核的独特组合，用于加速视觉人工智能神经网络，使其非常适合这些视觉人工智能应用。
Renesas采用RA8D1 MCUs的图形和视觉AI应用

Renesas瑞萨进口晶振已经成功展示了氦的性能提升，在各种AI/ML用例中，氦的性能比Cortex-M7 MCU有显著提高，在某些情况下提高了3.6倍以上。

其中一个用例是与视觉人工智能解决方案的领先提供商Plumerai合作开发的人员检测应用程序。这种基于摄像头的人工智能解决方案已经移植并优化用于支持氦气的手臂®皮质®-M85内核，成功展示了RA8D1设备的性能和图形功能。

与Cortex-M7内核相比，该应用通过氦加速实现了3.6倍的性能提升和13.6fps帧速率，这对于没有硬件加速的MCU来说是一个强大的性能。演示平台以640x480分辨率从基于OV7740图像传感器的摄像机捕捉实时图像，并在连接的800x480 LCD上显示检测结果。该软件可以检测和跟踪摄像机帧内的每个人，即使部分被遮挡也是如此，并在实时摄像机显示器上显示每个检测到的人周围绘制的边界框。

Renesas People Detection AI Demo Platform, showcased at Embedded World 2023 — 图1:瑞萨人员检测AI演示平台，在2023年嵌入式世界大会上展示

Plumerai人员检测软件使用多层卷积神经网络，使用超过3200万张标记图像进行训练。占总延迟大部分的层是氦加速层，例如Conv2D和全连接层，以及深度卷积和转置卷积层。

相机模块提供YUV422格式的图像，该图像被转换为RGB565格式以在LCD屏幕上显示。集成在RA8D1上的2D图形引擎以256x192的分辨率调整RGB565的大小并将其转换为ABGR8888，以输入到神经网络中。然后，该软件将ARBG8888格式转换为神经网络模型输入格式，并运行人员检测推断功能。RA8D1上的图形LCD控制器和2D绘图引擎用于将相机输入渲染到LCD屏幕上，并在检测到的人周围绘制边界框并显示帧速率。人员检测软件使用大约1.2MB的闪存和320KB的SRAM，包括用于256x192 ABGR8888输入图像的内存。

基准测试是为了比较Plumerai的人员检测解决方案以及使用Arm的CMSIS-NN内核运行TFMicro的相同神经网络的延迟。此外，对于Cortex-M85，禁用氦气（MVE）的两种解决方案的性能也进行了基准测试。该基准测试数据显示了纯推理性能，并且不包括图形功能的延迟，例如图像格式转换。

The Renesas people detection demo based on the RA8D1 demonstrates a performance uplift of 3.6x over the Cortex-M7 core — 图3:基于RA8D1的瑞萨人员检测演示显示性能比Cortex-M7内核提升了3.6倍

Inference performance of 13.6 fps @ 480 MHz using RA8D1 with Helium enabled — 图4:使用RA8D1并启用氦气时，480MHz下13.6fps的推断性能

该应用程序充分利用了RA8D1上的所有可用资源:

高性能480MHz处理器
氦用于神经网络加速
用于存储模型权重和输入激活的大型闪存和SRAM
用于捕获输入图像/视频的相机接口
显示人员检测结果的显示界面

瑞萨石英晶振还展示了基于RA8D1设备的多模态语音和视觉AI解决方案，该解决方案集成了视觉唤醒词和人脸检测和识别以及说话人识别。RA8D1 MCUswith Helium可以显著提高神经网络性能，而无需任何额外的硬件加速，从而为实现AI和机器学习用例提供了一种低成本、低功耗的选择。

瑞萨RA8D1微控制器组采用业界首款基于Arm的32位图形支持微控制器（MCU）®皮质®-M85（CM85）内核，在480 MHz时提供超过3000个内核点的突破性性能和卓越的图形功能，支持高分辨率显示和视觉AI应用。这些是通用MCU器件，适用于工业自动化、家用电器、智能家居、消费电子、楼宇/家庭自动化和医疗/保健细分市场中的各种高性能和计算密集型应用。
RA8D1 MCUs贴片晶振集成了高性能CM85内核和大容量存储器以及丰富的外设集，包括具有并行RGB和MIPI-DSI接口的高分辨率TFT-LCD控制器、2D绘图引擎、16位摄像头接口和多个外部存储器接口，针对各种图形和视觉AI应用的需求进行了优化。这些MCU提供176和224引脚封装。类似安全元素的功能内置了高级加密安全IP、不可变存储、真正的安全启动和篡改保护，可实现真正安全的物联网。
RA8D1 MCUs由灵活的软件包和一套全面的硬件和软件开发工具提供全面支持。

石英晶体振荡器	品牌	描述	系列	频率	输出
XLH536025.000000I	Renesas晶振	XTAL OSC XO 25.0000MHZ HCMOS SMD	XLH	25 MHz	HCMOS
XUL535150.000000I	Renesas晶振	XTAL OSC XO 150.0000MHZ LVDS SMD	XUL	150 MHz	LVDS
XUP736150.000JU6I	Renesas晶振	XTAL OSC XO 150.0000MHZ LVPECL	XUP	150 MHz	LVPECL
XUP736125.000JU6I	Renesas晶振	XTAL OSC XO 125.0000MHZ LVPECL	XUP	125 MHz	LVPECL
XFC236156.250000I	Renesas晶振	XTAL OSC XO 156.2500MHZ CML SMD	XFC	156.25 MHz	CML
XFP236625.000000I	Renesas晶振	XTAL OSC XO 625.0000MHZ LVPECL	XFP	625 MHz	LVPECL
XFP236312.500000I	Renesas晶振	XTAL OSC XO 312.5000MHZ LVPECL	XFP	312.5 MHz	LVPECL
XLL525212.500000I	Renesas晶振	XTAL OSC XO 212.5000MHZ LVDS SMD	XLL	212.5 MHz	LVDS
XFP536625.000000I	Renesas晶振	625.000000 MHZ 3.3VDC LVPECL 503	XFP	625 MHz	LVPECL
XFN516100.000000I	Renesas晶振	100.000000 MHZ 1.8VDC HCSL 5032	XFN	100 MHz	HCSL
XFL526125.000000I	Renesas晶振	125.000000 MHZ 2.5VDC LVDS 5032	XFL	125 MHz	LVDS
XTP332156.250000I	Renesas晶振	156.250000 MHZ 3.3VDC LVPECL 322	XTP	156.25 MHz	LVPECL
XTL312625.000000I	Renesas晶振	625.000000 MHZ 1.8VDC LVDS 3225	XTL	625 MHz	LVDS
XTN312100.000000I	Renesas晶振	100.000000 MHZ 1.8VDC HCSL 3225	XTN	100 MHz	HCSL
XLH335050.000000K	Renesas晶振	XTAL OSC XO 50.0000MHZ HCMOS SMD	XLH	50 MHz	HCMOS
XLH738042.800000X	Renesas晶振	XTAL OSC XO 42.8000MHZ HCMOS SMD	XLH	42.8 MHz	HCMOS
XLH736003.579545I	Renesas晶振	XTAL OSC XO 3.579545MHZ HCMOS	XLH	3.579545 MHz	HCMOS
XLH736045.158400I	进口晶振	XTAL OSC XO 45.1584MHZ HCMOS SMD	XLH	45.1584 MHz	HCMOS
XLH536014.745600I	Renesas晶振	XTAL OSC XO 14.7456MHZ HCMOS SMD	XLH	14.7456 MHz	HCMOS
XLH538027.120000X	Renesas晶振	XTAL OSC XO 27.1200MHZ HCMOS SMD	XLH	27.12 MHz	HCMOS
XLH536168.960000I	Renesas晶振	XTAL OSC XO 168.9600MHZ HCMOS	XLH	168.96 MHz	HCMOS
XLL330120.000000X	Renesas晶振	XTAL OSC XO 120.0000MHZ LVDS SMD	XLL	120 MHz	LVDS
XLH73V073.728000I	Renesas晶振	XTAL OSC VCXO 73.7280MHZ HCMOS	XLH	73.728 MHz	HCMOS
XLH73V074.250000I	Renesas晶振	XTAL OSC VCXO 74.2500MHZ HCMOS	XLH	74.25 MHz	HCMOS
XAH335025.000000K	Renesas晶振	XTAL OSC XO 25.0000MHZ LVCMOS	XAH	25 MHz	LVCMOS
XAH335030.000000K	Renesas晶振	XTAL OSC XO 30.0000MHZ LVCMOS	XAH	30 MHz	LVCMOS
XLH336156.250JX4I	Renesas晶振	XTAL OSC XO 156.2500MHZ HCMOS	XLH	156.25 MHz	HCMOS
XLH335001.024000I	Renesas晶振	XTAL OSC XO 1.0240MHZ HCMOS SMD	XLH	1.024 MHz	HCMOS
XLL325040.000000I	Renesas晶振	XTAL OSC XO 40.0000MHZ LVDS SMD	XLL	40 MHz	LVDS
XLL530108.000000I	Renesas晶振	XTAL OSC XO 108.0000MHZ LVDS SMD	XLL	108 MHz	LVDS
XLL338C50.000000X	Renesas晶振	XTAL OSC XO 1.2500GHZ LVDS SMD	XLL	1.25 GHz	LVDS
XLP735125.000000I	Renesas晶振	XTAL OSC XO 125.0000MHZ LVPECL	XLP	125 MHz	LVPECL
XLP736080.000000I	Renesas晶振	XTAL OSC XO 80.0000MHZ LVPECL	XLP	80 MHz	LVPECL
XLL726156.250000I	Renesas晶振	XTAL OSC XO 156.2500MHZ LVDS SMD	XLL	156.25 MHz	LVDS
XLL73V148.351648I	Renesas晶振	XTAL OSC VCXO 148.351648MHZ LVDS	XLL	148.351648 MHz	LVDS
XUH736156.250JU4I	Renesas晶振	XTAL OSC XO 156.2500MHZ HCMOS	XUH	156.25 MHz	HCMOS
XLP73V500.000000I	Renesas晶振	XTAL OSC VCXO 500.0000MHZ LVPECL	XLP	500 MHz	LVPECL
XUL535100.000000I	Renesas晶振	XTAL OSC XO 100.0000MHZ LVDS SMD	XUL	100 MHz	LVDS
XLL726371.428571I	Renesas晶振	XTAL OSC XO 371.428571MHZ LVDS	XLL	371.428571 MHz	LVDS
XLP728161.132000X	Renesas晶振	XTAL OSC XO 161.1320MHZ LVPECL	XLP	161.132 MHz	LVPECL
XUP536212.500JS6I	Renesas晶振	XTAL OSC XO 212.5000MHZ LVPECL	XUP	212.5 MHz	LVPECL
XLP726300.000000I	Renesas晶振	XTAL OSC XO 300.0000MHZ LVPECL	XLP	300 MHz	LVPECL