线版Dee瑞萨RZ支撑布置离V2H渠道

1 DeepSeek在端侧设备的瑞萨运用场景 。

DeepSeek大言语模型(LLM)可用于了解人类言语的渠道交互方法,考虑 ,支撑并给出适宜的布置版回应。一起 ,离线经过结合RAG(Retrieval-Augmented Genera 。瑞萨ti  。渠道on ,支撑检索增强生成)技能,布置版能够从用户定制常识数据库检索信息,离线将其作为提示输入给LLM,瑞萨LLM经过将这些额定的渠道常识与自己的言语技能相结合 ,能够编撰更精确、支撑更具时效性且更贴合详细需求的布置版文字,供给面向某个详细范畴的离线专业应对 。在。AI。概念和端侧。AI技能。炽热的当下,瑞萨。半导体。推出的面向端侧AI运用的高性能MPU,也能够布置DeepSeek-R1模型。在咱们料想的运用场景中,咱们能够在布置了DeepSeek-R1模型和RAG定制数据库的瑞萨MPU电路板上 ,在不联网的状况下,完结如下运用:

  • 向AI模型投喂高端家电、车辆等杂乱电子产品的用户手册 ,对这些模型进行练习 ,以创立一个AI帮手 ,能够主动履行某些杂乱功用的设置 。如此 ,用户就不用为了运用某一样别致的功用而花费很多时刻阅览手册 。相对于传统的 。语音辨认 。运用需求特定的指令或许唤醒词,引进LLM对口头言语的表达进行剖析 ,能够让硬件设备更简略了解用户的需求  。
  • 面向骑行爱好者,让AI帮手在自行车。电脑 。中运转 ,这样用户在骑自行车时就能够取得个性化的导览/导航以及其他信息 。
  • AI智能眼镜&耳机,直接了解用户白话表达的指令,以日常运用的人类言语与电子体系进行交互。
  • 实时的翻译机,在不联网的运用场景中 ,运用AI做一些简略的言语转化 ,乃至能够作为人与宠物之间的交互 。例如,宠物猫和宠物狗的言语表达相对于人类言语更简略 ,能够把它们的言语转化成人类了解和考虑的方法表现出来 。

为此 ,咱们在瑞萨定坐落AI运用的MPU芯片RZ/V2H ,适配了DeepSeek-R1:1.5B的LLM模型 ,以支撑这些潜在的AI运用。


2 瑞萨RZ/V2H硬件渠道简介。

在演示用例中,运用瑞萨官方的RZ/V2H-EVK开发板,如图1所示 。

wKgZPGgljcOAPsAvABG9Rac0E2k815.png

图1 瑞萨官方RZ/V2H-EVK开发板 。

板载丰厚的外扩资源,如图2所示 。

wKgZO2gljcSAfHs4AASb-PgbqS8278.png

图2 RZ/V2H-EVK开发板板载资源。

关于RZ/V2H-EVK开发板的更多概况 ,可拜访瑞萨官网产品主页 :(您可仿制下方链接至浏览器检查) 。

RZ/V2H-EVK - RZ/V2H四核视觉AI MPU评测套件 | Rene。sas。瑞萨电子。

https://www.renesas.cn/zh/products/microcontrolle。rs。-microprocessors/rz-mpus/rzv2h-evk-rzv2h-quad-core-vision-ai-mpu-evaluation-kit。


其间 ,RZ/V2H集成了7个 。处理器 。中心,分别是4个Cortex-A551.8GHz ,2个Cortex-R8800MHz ,1个Cortex-M33200MHz,一起还集成了瑞萨自主研制的AI核算专用加快引擎DRP-AI3和图画核算加快引擎DRP,有体系框图 ,如图3所示 。

wKgZO2gljcSALe1XAARliH4CHI0315.png

图3 RZ/V2H处理器体系框图。


3 下载、装备和发动DeepSeek-R1 。

RZ/V2H-EVK开发板现已适配了Yocto 。 Linux 。操作体系。,在此基础上,运用Ollama官方引荐的方法 ,能够完结布置并运转DeepSeek-R1大模型。

运用能够联通外部网络的路由器,用网线将RZ/V2H-EVK电路板和PC连起来 ,保证RZ/V2H-EVK电路板和电脑能够联网,并可相互拜访 。对RZ-V2H-EVK电路板的装备作业,将经过电脑完结。

在电脑上  ,经过 。Te。ra Term东西(或许其它SSH东西)连接到开发板。在终端中 ,运用脚本装置并发动Ollama服务:

wKgZPGgljcSAUWBKAAAnotr2rTQ828.png

经过Ollama发动DeepSeek-R1模型。留意,在第一次运转指令时,会自行下载DeepSeek-R1模型文件 。在此过程中 ,需求保证联网状况杰出。

wKgZPGgljcSAFC1KAAAXgSFBj5Q244.png

下载完结之后,自行发动DeepSeek-R1模型  。后续运转这个指令载入模型时 ,就不需求联网了。

载入模型成功后 ,能够看到指令行中有提示信息“Send a message(/? for help)” 。此刻 ,能够向运转在RZ/V2H-EVK电路板上的离线版DeepSeek提问了  。

wKgZO2gljcWAaKZNAAMVE-seECQ697.png

图4 在RZ/V2H上发动DeepSeek-R1 。

4 运转演示 。

在发动DeepSeek-R1后 ,咱们问了第一个问题"介绍一下你自己" ,接下来 ,请看RZ/V2H-EVK电路板的反响 :

https://mp.weixin.qq.com/s/y61pMJCA1Vw5t7YK4OO5Jw。

从 。视频 。中能够看到,DeepSeek-R1大模型现已成功运转在RZ/V2H-EVK电路板上 。

接下来 ,让咱们等待更多根据瑞萨产品和DeepSeek开宣布的风趣运用吧。

免费样品请求。

https://jsj.top/f/AgUyYV 。

瑞萨。技能论坛。

https://community-ja.renesas.com/zh/forums-groups/。mcu。-mpu/。

瑞萨中文社区 。

https://www.。ram 。cu.cn/ 。


  

内容版权声明:文章整理来源于网络。

转载注明出处:https://a7g8.dezhouruihuan.com/html/15b9899886.html