机器之心Pro
23-10-31 19:12 微博认证:机器之心官方微博

即便大语言模型的参数规模日渐增长,其模型中的参数到底是如何发挥作用的还是让人难以琢磨,直接对大模型进行分析又费钱费力。针对这种情况,微软的两位研究员想到了一个绝佳的切入点,用生成简练但是又涵盖各种常见逻辑和语法的童话故事来作为模型的生成任务,这样做能在减少模型的学习负担的同时,保留模型对逻辑和语法的学习能力,进而用小模型来分析参数发挥的作用。这种方法可能会开创一条新的研究道路。 http://t.cn/A6WXjSAT