老刘说NLP_刘焕勇
26-05-14 12:26 微博认证:AI博主

【Agent Skill结合Graph做技能检索及演化思路:SkillGraphs方案解读】在之前的文章《Agent Skill结合知识图谱进展:SkillSynth做数据合成及GraSP将Skill执行变为DAG图》(http://t.cn/AXJkvZUW)中,看了两个工作。一个是Skill结合图谱做Agent训练数据合成思路-SkillSynth,属于数据合成的范畴,还贴了skill和知识图谱。另一个就是将skill执行搞成DAG图的思路,这是具体的执行方式上的切换了。那么,图有了,可否进行自进化?现在看第三个工作:《SKILLGRAPH: Skill-Augmented Reinforcement Learning for Agents via Evolving Skill Graphs》,http://t.cn/AXiiFrTl,打的点还是说,现有Agent的技能库多为扁平结构,仅按语义相似度检索,无法建模技能依赖与执行顺序,组合任务需要好几个技能按顺序拼起来才能完成,智能体不光要找到相关技能,还要知道谁依赖谁、谁先谁后,列表式技能库做不到。例如,ALFWorld中的“加热并放置”任务可能需要先定位物体,再将其拿起,使用电器加热,最后放置到目标位置。一个扁平的Top-K 检索器可以返回相关技能,但无法表明它们之间的依赖关系或执行顺序。所以,结合图搞一下,搞个SKILLGRAPH框架,思路就是把技能建成一张带类型边的有向图,让技能之间的依赖、增强、共现关系可计算、可检索、可进化,让Agent拿到任务时,不是搜一堆零散技能,而是直接拿到一套按依赖排好序的“技能执行路线图”,并且这张图还会跟着Agent一起变好。也就是:SKILLGRAPH=技能图(节点=技能,边=关系)+图感知检索(输出有序技能)+图进化(自动增删改技能)+闭环强化学习(策略和图一起变强),所以,就是贴了知识图谱+演化两个点,可以进一步总结为几个问题:技能从哪来?轨迹蒸馏;技能怎么存?图结构 + 三类关系;技能怎么用?依赖有序检索;技能怎么更新?自动增删并分;技能怎么开放?课程式渐进解锁;技能怎么和策略配合?闭环强化学习。http://t.cn/AXiiFrTj。也推荐看看,挺好的思路。 

发布于 北京