【无需更换硬件:Palette 3.0释放边缘AI芯片多模态算力潜能】在机器人、工业相机、无人机这类实体硬件产品中落地AI,一直面临一个现实难题:在瓦级功耗约束的边缘芯片上,同时运行视觉、大语言等多个模型,很容易出现算力、内存资源争抢,部分任务得不到充足调度,整体系统稳定性下降。针对这一痛点,SiMa.ai推出面向自家Modalix边缘AI处理器的软件升级Palette 3.0,完全依靠软件层面优化,不用更新硬件,就实现文本生成最高3.5倍的性能提升,并且强化多模型协同调度能力,面向实体AI设备开发者提供一套更完善的本地推理方案。
本次更新最核心的改动是重构请求调度链路。旧版本需要通过中间服务层转发应用请求至芯片;Palette3.0改为让业务进程直接向操作系统内核驱动下发任务,消除中间转发开销。同时新增请求优先级配置机制,开发者可以区分任务重要等级,把目标检测这类需要持续稳定输出的视觉任务设置为高优先级,大语言模型则利用芯片剩余空闲算力执行推理,互不抢占关键资源。官方演示中,单颗Modalix芯片可以同时承载一个大语言模型搭配三个视觉 语言模型,还可以同时运行6个Docker容器,并行完成目标检测、三维姿态估计等多项任务。在视频处理测试中,单芯片可同时处理60路720p视频流运行YOLOv26检测,合计帧率达到600FPS。不过官方文档并未说明芯片满载重压场景下高优先级任务的延迟表现,开发者需要结合自身业务场景自行验证这一指标,不能单纯依赖厂商演示效果。
生成式AI推理性能的飞跃来自推测解码技术的引入,集成DFlash、EAGLE3以及面向Gemma4的多 Token 预测方案。基准测试环境下,文本解码吞吐量最高实现3.49倍提升,最佳测试结果来自DFlash N16搭配Qwen3.5 9B模型,也就是宣传中3.5倍性能的来源。但真实业务场景会打折扣:在模拟车载助手900次请求的实测中,响应速度提升回落至1.35 2.06倍,不过全部请求都可以输出正确的函数调用结果。功耗方面,单请求计算能耗下降25.9% 51.4%,逻辑是让运算更快完成,而不是降低芯片平均工作功耗,这份能耗统计也不包含机器人传感器、电机等外部组件耗电。
模型支持能力同样取得突破,16GB的Modalix模组现在可以跑通OpenAI开源MoE模型GPT OSS 20B,让200亿参数大模型真正落地边缘硬件。但参数规模达标不等于直接可以投产,开发者仍然需要针对响应时延、上下文窗口、精度表现做完整基准测试。配套更新的模型浏览器工具,不再只展示吞吐量、延迟两项基础指标,还能查看芯片功耗、CPU与内存占用、每一层算子运行数据。针对不同精度版本的模型,可以直观看到降精度带来的速度 精度取舍;工具输出的部署包可以直接本地在Modalix硬件运行,也提供开源脚本,允许开发者从Hugging Face、GitHub原始模型复现完整部署流程,适配经过私有数据微调后的模型上线需求。
离线部署也是Palette3.0重点强化的能力。整套方案支持完全断网运行,开发人员可以在有网络环境下载更新包,再拷贝到现场设备完成升级,对于网络条件差甚至无网络的工业现场,离线能力是产品能否落地的关键条件。应用开发层的Palette Neat核心库采用Apache2.0开源协议,但编译器、固件授权条款还没有对外公布。面向开发者的DevKit3.0开发套件售价1499美元,包含Modalix模组、载板、外壳、电源与500GB存储,而量产硬件价格、独立软件授权费用尚未对外披露。
放在整个边缘AI赛道来看,它的主要竞争对手包括英伟达Jetson系列以及Hailo加速卡方案。英伟达Jetson拥有从几百到数千美元的完整开发套件矩阵,依靠JetPack软件栈驱动,属于闭源商业平台;Hailo主打附加加速硬件,例如接入树莓派的AI扩展板,公开资料最大只支持60亿参数级别的多模态模型,对比Modalix可运行200亿参数模型有差距。需要注意,这些公开标价都只是开发套件价格,实际量产还要算上硬件集成成本,不能直接拿开发板报价评估项目预算。
同时开发者要理性看待这次升级:Palette3.0属于重大版本迭代,从2.1.3迁移到3.0并非开箱即用,原有原生应用程序需要重新编译适配组件,虽然不需要换芯片,但迁移本身依旧存在开发工作量。它更适合已经能单独跑通感知、推理模型,但多模型并发就出现资源冲突的项目。厂商给出的基准数据有参考价值,但生产环境真正的核心考验是:大模型后台运行的时候,高优先级视觉检测任务还能不能守住实时性要求,这部分必须由团队结合自身业务实测完成,无法依靠厂商演示得到答案。
总体来说,Palette3.0代表实体边缘AI一个重要方向:依靠软件调度挖掘现有硬件潜力,把大语言模型、多模态能力下放到机器人、工业设备,降低物理产品接入生成式AI的硬件换代门槛,但落地前,开发者依然需要完成大量真实工况的验证工作。
https://thebeat.tech/articles/simaais-palette-30-squeezes-more-multimodal-work-out-of-the-same-edge-ai-chips
