作品展示|基于【RK3588】ELF 2开发板的ROS2具身智能家庭服务机器人
随着全屋智能与家庭服务机器人行业飞速发展,用户对于居家智能体验的需求,已经从简单的设备控制,升级为多模态自然交互、主动环境感知以及全场景家庭陪伴。但目前市面主流产品仍存在三大核心痛点:
第一是隐私安全隐患。多数机器人依靠云端算力完成语音识别与逻辑推理,家庭私密音视频数据需要频繁上传云端服务器,存在数据泄露风险。
第二是增值服务付费门槛高。巡检、远程控制、录像存储等高级功能高度依赖云端能力,往往需要购买高价会员才可解锁使用,带来额外后续消费。
第三是家庭环境适配能力不足。纯轮式底盘很难越过门槛、地毯等居家常见障碍物;纯足式结构则结构复杂、运行噪音较大,造成机器人在真实家庭场景下 “行动受限、体验不佳”。

团队名称:鱼香肉丝队
所属院校:广东技术师范大学
团队成员:谢嘉源、贺禹杰、殷韬韬
指导老师:刘大维、钟森鸣
针对以上行业痛点,本届嵌入式竞赛瑞芯微&飞凌嵌入式赛题“鱼香肉丝队”设计了一款面向全年龄段家庭成员的端侧大模型+具身智能轮足式家庭服务机器人。该项目斩获全国大学生嵌入式芯片与系统设计竞赛国赛一等奖,同时拿下飞凌嵌入式企业杯。下面就带大家一起来详细了解这个优秀作品。

基于【RK3588】ELF 2开发板的ROS2具身智能家庭服务机器人
该机器人采用“上位机边缘计算+下位机运动控制”的解耦架构。上位机为【RK3588】ELF 2开发板,承担全局资源调度、ROS2通信、SLAM建图导航、AI模型推理等复杂计算任务;下位机采用STM32,专注完成电机控制与姿态解算。上下位机通过USB‑CDC进行高速数据通信,实现功能各司其职、分工明确。
系统硬件分为三层:感知层搭载3D深度相机、激光雷达、麦克风阵列与各类环境传感器;交互层配备显示屏、扬声器;执行层配置关节电机与轮毂电机。各功能模块依托本地ROS2与CAN总线网络实现高效协同工作。

“硬件架构图”

“软件架构图”
机器人应用层系统运行于【RK3588】ELF 2开发板板端,以ROS2 Humble作为机器人控制中枢,集成底盘运动控制、SLAM建图、Nav2导航、多点巡逻、传感器接入以及设备状态监控等核心功能。上层依托语音助手、Web仪表盘、MQTT/Home Assistant以及本地多模态大模型,搭建多维度自然交互入口,支持用户通过语音、网页实现问答交互、设备控制、自主导航以及智能家居联动。
系统内部基于BERT意图识别完成语音与文本指令解析路由,将任务分发至ROS2运动导航、本地LLM对话、视觉识别、智能家居控制等对应功能模块。摄像头视频流、姿态识别模型、激光雷达、麦克风阵列等感知单元协同完成环境理解与安全检测;扬声器与IPS触摸屏承担表情、文字、语音等输出反馈。整套架构实现全端侧运行、模块解耦与多模态协同,让机器人形成运动控制、环境感知、语音交互、视觉理解与智能服务的完整能力闭环。

“语音链路流程图”

“语义分类示例图”

“跌倒检测流程图”

“为局域网设备提供API调用能力”
参赛平台介绍
本次全国大学生嵌入式芯片与系统设计竞赛,瑞芯微&飞凌嵌入式联合赛题提供的参赛硬件平台包含【RK3588】ELF 2开发板、【RV1126B】ELF-RV1126B开发板、【RK3506B】ELF-RK3506开发板。

三款硬件平台覆盖从入门级到高性能的完整梯度:ELF-RK3506开发板侧重基础嵌入式系统学习,适合开展外设驱动、Linux应用开发类项目;ELF-RV1126B开发板面向轻量边缘视觉场景,能够满足低功耗图像识别、智能感知类作品开发;ELF 2开发板搭载高性能NPU算力,可支撑大模型部署、复杂多模型协同推理等高难度工程实践。
刚刚介绍的项目,正是基于ELF 2开发板开发实现的。接下来,就让我们详细了解一下这款高性能开发板的核心参数与硬件优势。

ELF 2开发板基于瑞芯微RK3588高性能处理器设计,拥有四核ARM Cortex-A76与四核ARM Cortex-A55的CPU架构,主频高达2.4GHz,内置6TOPS算力的NPU,这一设计让它能够轻松驾驭多种深度学习框架,高效处理各类复杂的AI任务。

在接口资源方面,ELF 2开发板提供了丰富的选项,包括多个USB、PCIe、UART等通信接口,以及HDMI、DP等音视频接口。此外,它还支持多种扩展模块,适配了显示屏、摄像头、光照传感器、运动传感器、语音控制等丰富的选配模块。而且在开发板上预留的40pin排针可兼容树莓派的各种模块,为您的嵌入式学习之旅提供了无限可能。


ELF 2开发板已经适配了Linux 5.10及Ubuntu 22.04操作系统,后续逐步实现对Android、OpenHarmony等系统的适配,旨在为在校学生、高校教师、专业工程师、兴趣达人提供丰富的学习与开发环境。
ELF 2开发板附带了丰富的教学资料,系统而全面地介绍了AI开发的整个流程。资料中不仅模型种类丰富多样,而且对典型模型都进行了深入的剖析,详细阐述了模型的优化思路与方法,让AI项目能够真正地从理论走向实践。


更多推荐



所有评论(0)