树莓派创客社区_JUNROC
26-10-09 11:30 微博认证:杭州隽鹏电子科技有限公司官方微博

作者用Arduino VENTUNO Q运行小型VLA视觉语言动作模型,控制SO-101机械臂捡橡皮鸭。VENTUNO Q搭载Qualcomm Dragonwing IQ8,最高40 TOPS AI算力,16GB LPDDR5内存,64GB存储,STM32负责实时控制,原生Ubuntu并支持ROS2。项目基于Hugging Face SmolVLA和Libero检查点,先采集50集捡鸭数据,再微调模型。关键调参是把数字操作步骤设为10或25而不是默认1。部署时用VLA.cpp和llama.cpp GML内核,选前四个性能核,视觉编码器用fp16比int8快十倍,CPU推理可让机器人连续工作。NPU加速视觉快两倍但精度下降,抓取位置有偏差。整体证明Arduino板能跑物理AI,后续还将继续优化。
#Arduino# #VENTUNOQ# #VLA# #机械臂# #物理AI# http://t.cn/AXl2eHXP

发布于 浙江