Simon的白日梦
26-09-30 16:16 微博认证:科技博主

分享一个8~12M可以在智能设备上运行的端侧语言模型。
Needle,在手机和微控制器上本地把人话变成函数调用

要把亮度、城市这种参数从一句人话里填进函数,以前要么把原话发到云上,要么模型大到手表和车机装不下。Cactus Compute 把这件事收成一份 8 到 29 MB 的模型。你把函数的类型和说明写好,人说「把卧室调暗,再锁门」,它在本地按顺序调两次,不用再绕回家里的网关。发票和手腕上的扣款通知,把字段形状写好,回来的是能直接解析的结果。没有对应函数时,交回空列表,不编一次调用。做端侧助手、又不想把原话送出设备的人用得上。

🔗 链接:http://t.cn/AXWVfTZt
🌐 产品页:http://t.cn/AXOrLmhJ
📄 权重:http://t.cn/AXWVfTZ5

发布于 广西