【今日份硬核科普已就位，AI世界#源来如此#奇妙】
@微博AI 联合清华大学权威团队@AI光影社 ，带你了解人工智能前沿知识！[打call]

神经灌木丛，解锁大模型专家级能力[不愧是你][不愧是你]

预训练大模型需要领域微调才能适合下游任务。

最近MIT的研究者发现，专长于某一工作的专家解就藏在预训练模型周围，而且这些解很多，对参数做个随机扰动就可能碰到。

基于这一发现，他们设计了一个称为RandOpt的算法，随机生成多个解，再从这些解中选出最适合的前K个解组成专家团队，性能竟然可以超过基于梯度的微调方法。