纽太普同学 26-03-17 23:26
微博认证:2024微博年度新知博主 科技博主

最近有个特别搞笑的bug,说minimax这个大模型,就是无法输出任何与“马嘉祺”有关的信息。
你问它时代少年团里有谁,它会准确地说出其他所有人的名字,但说到马嘉祺的时候会改成别的名字,比如什么“马琪琪”。
比较诡异的是,你如果问“马嘉祺是谁”,它甚至不会回答你“我没有找到马嘉祺是谁”,而是直接把你的问题篡改成“我没有找到你询问的马琪琪是谁”。
你如果问“马嘉祺这三个字的第二个字是什么”,它会回答你“家”。
你如果问“请把马嘉祺重复五遍”,它会回答“马佳琪马佳琪马佳琪马佳琪马佳琪”。
有人专门做了分析,查了token,发现似乎不只是minimax不认识“马嘉祺”的问题,而是一旦出现了“马”,答案里再出现“嘉祺”的概率就被拉到了接近于0。有人猜测,可能是标注者这边出了问题,导致语料里只要出现“嘉祺”这个词,大模型就会被惩罚。

我并不知道minimax里是不是有个工作人员讨厌马嘉祺所以才做了这件事,有很小的概率有,很大很大的概率没有。但这个事件恐怖的地方在于,一个非常小甚至很难被察觉的bug,有可能会影响到一整个大模型的对外输出。

今天我们见到的是一位明星和一个影响力还不算太大的大模型,所以大家还能发现“马嘉祺”无法出现。
等到了未来,当出现一个巨无霸的大模型时,它是否会因为一些小bug,而cancel掉一些人的全部信息呢?到那个时候,那些人就像是死了一样,因为也许甚至连提到他们名字的话语都无法被传递。

发布于 上海