根据上周公开的一份新专利,Apple正在研究一种更主动的数字助手形态:电子设备可以监测用户现实世界行为,长期学习行为模式,当检测到符合预设条件的行为时主动介入干预。
这份专利申请阐述了两项相关构想:系统判定适合介入时,打断用户正在进行的行为;以及对行为进行长期监测,后续为用户生成活动摘要。
Apple表示,现有的用户行为管理方案往往操作界面繁琐,需要用户反复手动输入指令;而该方案将借助各类传感器、智能代理程序与环境上下文信息,减轻用户操作负担。
这项技术的适用范围十分宽泛。Apple提出,这套计算系统可以搭载在智能手机、智能手表、健身追踪设备、智能音箱、家用公共设备、头戴显示器以及其他可穿戴产品之上,依靠摄像头、麦克风、运动传感器、深度传感器等硬件采集用户行为相关信息。
这项技术听起来侵入性较强,如果Apple决定推进该方案,正式落地前完全可以把这套机制调整得更加温和,在此之前,我们可以了解这份专利的详细内容。
专利中一个很直观的示例:用户指令智能代理,在一周之内监测自己吃零食的行为。
接收到指令之后,系统观测周边环境,记录识别到的吃零食行为,专利描述,设备可以识别用户饮用奶昔;甚至当用户走向食品储藏柜,或是手拿一袋薯片经过时,系统可以推断用户即将进食零食,屏幕会显示零食监测中标识,提示用户监测正在运行。
在搭载可运动硬件的设备版本中,智能代理还可以在物理层面跟随用户,专利提到可以转动摄像头或者其他运动组件,保证用户始终处于设备拍摄范围内,界面内的虚拟代理形象,还可以视觉上转向用户,例如通过动画化的眼睛或者面部表情来实现。
监测周期结束后,系统生成一份摘要,记录零食食用时间、每一次行为事件,还可以附带事件对应的图像,这份摘要可以自动弹出、支持语音调取、同步至其他个人设备;也可以在用户打开健康或饮食类应用时持续展示。
这份专利不局限于被动记录行为,Apple设计的系统,会结合上下文条件,判断是否需要对观测到的行为进行干预。判断条件包含:该行为是否具备危险性、用户此前是否要求对此行为进行监测、行为是否和用户个人特征相关、同类行为过往是否造成特定结果。
其中一个极具代表性的案例和服药有关,系统通过反复观测行为,或是用户主动告知设备,记住用户每天固定时间服药。后续,如果系统检测到用户正在倒西柚汁,并且已知西柚汁会和该药物发生相互作用,智能代理就会在用户喝下之前发出警告。
专利同时还考虑到各类反复出现的不良行为,例如重复服药、大量摄入高糖食物、长期不良体态。
干预的实现形式多种多样:设备可以语音播报、弹出提醒、展示图文信息,或是物理调整姿态,让摄像头、屏幕等组件朝向用户。虚拟代理形象甚至可以变换表情,做出如同说话一般的动画效果。
上下文与记忆是整套系统的关键
这套系统并非只能识别孤立的单一事件,Apple提出,设备结合学习得到的用户信息、历史行为数据、传感器信号以及环境上下文,判断用户意图,解读现实环境正在发生的状况。底层计算系统,还可以在本地或是云端对接机器学习、大语言模型资源。
这让该构想更偏向环境感知型AI代理,而不是传统提醒工具。
普通的提醒功能,只会响应用户预先设置好的时间或者位置。而Apple这套拟议系统,可以主动识别正在发生的行为,关联过往信息与指令,判断是否需要介入,再决定是否向用户发出提示。
说明书用大量篇幅介绍行为摘要与干预两大能力,但已公开的24项权利要求,明显将重心放在行为干预上。
首项独立权利要求:检测用户行为,并依据一项或多项条件,判断是否输出干预提醒。从属权利要求进一步补充危险行为检测、过往监测指令、用户个人特征、重复行为、动画虚拟代理、音视频告警、设备向用户物理转动等内容。
这样的侧重点表明,Apple当前寻求专利保护的核心,并不仅仅是行为日志记录,而是一套具备上下文感知能力,可以判断现实行为是否需要介入的系统。
这份专利代表Apple助手策略一次重大演进,未来Apple设备不再只等待用户发出明确指令,而是能够观测行为、理解环境上下文、记住过往指令,在合适的时机主动介入。智能手表可以识别反复出现的行为;智能家居设备可以监测房间内活动;头戴设备可以直接在用户视野内推送警告。
从宏观方向能够看出:Apple正在研发的智能助手,不止用来回答问题。会观察、学习,并在必要的时候采取行动。
