作品展示|基于RK3588的多模态无接触厨房AI终端
厨房是家庭中信息需求最密集、却又最不适合触屏操作的空间。烹饪时双手常沾着水、油和食材,频繁点按屏幕既不卫生,也会打断做菜的节奏;与此同时,油烟、燃气泄漏、一氧化碳与高温等隐患时刻并存。高信息需求、低触屏可用、强安全风险,这三重矛盾叠在一起,构成了厨房交互的核心困境。
针对这一痛点,华南理工大学“三人行则必有我师”团队设计了“基于RK3588的多模态无接触厨房AI终端”——“灵动厨枢”,并凭借该项目获得嵌赛国赛一等奖,接下来,我们一起看看这个项目的具体介绍。
项目介绍
院校名称:华南理工大学
团队名称:三人行必有我师
团队成员姓名:赵佳怡、曹清妍、王思瀚
指导老师:赵明剑
主要实现的功能
灵动厨枢围绕真实烹饪场景设计,提供菜谱联动、多模态交互、安全防护与外设联动四类核心功能。
一、菜谱与计时联动用户在小程序中选择菜谱并推送至大屏,界面会同步显示当前步骤、操作说明与建议计时时长。计时支持“菜谱标准”与“自定义”两种模式,可适配醒发、焖煮等非标准时长的流程。
二、少接触多模态交互系统基于MediaPipe提取手部与人体躯干关键点,支持四类隔空手势:食指移动驱动“空气鼠标”控制光标,捏合手势触发点击,双手张开并保持3秒打开短视频,握拳保持5秒返回主界面。配合腾讯云ASR提供按需语音输入,在湿手、油手场景下无需触屏即可完成操作。
三、环境安全防护界面实时显示温湿度;MQ2、MQ4、MQ7 三路气体传感器分别监测烟雾、甲烷与一氧化碳,任一路数值越限即触发安全红屏告警,并联动风扇通风。
四、硬件外设联动BT201蓝牙模块实现手机的音乐切换与来电接听、挂断控制;升降电机依据用户身高与姿态自动调节屏幕高度;自绘PCB集成全部传感器与执行器接口。
系统组成及功能说明
灵动厨枢采用 “板端统一状态中心+多模态输入+多执行器输出” 的系统架构,自左至右划分为五个层级:用户与外部终端、传感与输入硬件、主控与板端软件、交互与业务软件、执行器与输出硬件。
在输入侧,用户可通过手势、语音、触屏、小程序和手机蓝牙与系统交互,摄像头、麦克风、温湿度传感器与MQ2/MQ4/MQ7气体传感器则分别采集视觉、音频与环境安全信息;位于中部的【RK3588】ELF 2开发板运行Linux系统,承载视觉服务、手势桥、板端后端和显示升降守护等核心程序。
上层的板端大屏UI、Linux微信、Chromium抖音、语音输入模块与AI问答模块构成主要业务交互层;位于末端的显示屏、摄像头跟随舵机、风扇、风扇跟随舵机、BT201蓝牙板和显示升降机构作为系统的执行与输出端,把判断真正落到物理动作上。
硬件系统介绍
该硬件系统并非简单的模块堆叠,而是以【RK3588】ELF 2开发板为核心、以自研PCB为电气接口层,将视觉输入、语音输入、环境感知、气体安全、蓝牙通信、通风执行和屏幕升降机构统一接入同一套硬件架构。按功能可归为三类:视觉、语音、环境与气体构成感知输入,蓝牙负责对外通信,通风与屏幕升降机构承担执行输出。
这一设计在电气层面打通了“感知—通信—执行”的完整链路,使系统具备真实的物理感知与执行能力,也为其上层的少接触交互、环境安全告警、手机联动和以人为本的显示升降奠定了可靠的硬件基础。
软件系统介绍
软件系统采用多进程协同架构,由九类进程组成,按职责可划分为四层。
核心状态层:板端后端进程作为状态中心,统一维护系统状态,并对外提供 API 接口。
人机交互层:前端UI分为两套终端——板端大屏UI面向设备本地操作,微信小程序面向移动端;视觉服务进程承担MediaPipe推理,手势桥进程将视觉识别结果转换为界面与窗口操作指令。
智能能力层:语音模块在用户点击触发后按需调用腾讯云ASR;AI模块对接智谱大模型。
驱动与安全层:蓝牙控制模块经串口驱动BT201蓝牙模块;电机守护进程负责升降动作的安全边界与动作租约管理。
生命周期管理:全部进程由一键启动脚本统一拉起,并由看门狗(watchdog)在进程异常退出时执行重启;同时依据退出状态区分"用户主动停止"与"异常终止",避免对主动停止的进程误触发重启。
视觉与手势模块
视觉模块基于MediaPipe,从摄像头画面中实时提取手部21个关键点与人体姿态关键点。手势结果服务于少接触交互:以食指指尖位置驱动空气鼠标,以捏合动作触发点击,以双手张开保持3秒打开短视频、双手握拳保持5秒返回UI。为抑制多手同时出现导致的光标抖动,系统优先选取右手食指作为控制点;为避免瞬时误判,关键手势均设有持续时间阈值与平滑处理。人体姿态关键点(鼻子与躯干位置)则用于显示升降,作为判断用户相对屏幕高度偏差的视觉参考。
以空气鼠标为例,设食指指尖在画面中的归一化坐标为(x, y)∈[0,1]²,屏幕分辨率为W×H,则目标像素坐标由有效区域偏移与映射增益线性映射后截断得到:
xs=clamp[(x−a)·kx·W,0,W],ys=clamp[(y−b)·ky·H,0,H]
为进一步抑制帧间抖动,对输出坐标施加一阶指数平滑,其中q为当前帧测量、p为平滑输出、α∈(0,1)为平滑系数,α越小越平滑但越滞后,实测取值兼顾跟手性与稳定性:
pt=α·qt+(1−α)·pt−1
语音与AI问答模块
语音与AI模块共享按需启动、草稿确认的交互范式。语音识别不常驻运行,仅在用户点击录音后短时启动,调用腾讯云ASR完成转写,避免长期占用音频通道而拖慢视觉与界面。在微信语音输入场景中,识别结果先写入待传输草稿,用户可清空重录或分段追加,确认无误后再传入微信输入框,最终发送动作仍由用户手动完成;在AI问答场景中,识别得到的问题先存入待提问草稿,确认后发送至智谱大模型,模型针对食材处理、烹饪建议与安全提示等返回回答并在大文本区展示。该范式以不常驻、不自动发送、可累加三条规则,同时兼顾系统流畅性与交互安全性。
回望整个项目,参训同学完整走通了从需求分析、机械结构、PCB设计、后端接口、前端UI、小程序、视觉识别、语音与AI,一直到蓝牙与电机控制的全部链路。基于【RK3588】ELF 2开发板的多模态、非接触式厨房AI终端,最终不只是一块会显示菜谱的屏幕,更是一个能感知环境、理解意图、控制外设、守护系统安全的“灵动厨枢”。这段软硬件一体的实践,希望能让屏幕前的同学,对嵌入式系统、多模态交互与工程安全,获得更具体、也更深刻的认识。
