还是觉得gemma4跑的慢,所以又进一步优化了一下mtp,这次我draft gemma assitant也上了,vllm新的全支持,还剩提升速度那是相当明显的,比一般的mtp要快很多,刷刷的,accept token ratio,基本都能到50%左右,结果测试碰到一个特别逗的问题,我不是怕涉黄涉恐涉证的话题吗,于是做了个security check,结果毕达哥拉斯定理也不给回答,我说这是咋了,后来才查到了典故:"背景大概是:毕达哥拉斯学派相信“万物皆数”,更准确说很多量都能用整数比表达。但正方形对角线会引出 √2,它不能表示成两个整数的比,也就是无理数。传说中,希帕索斯发现或公开了这个事实,冲击了学派信仰,于是被学派成员投入海中淹死。
这个故事历史真实性很可疑,更像后世把“数学危机”戏剧化了。但模型回答“毕达哥拉斯猜想的本质”时,很可能提到了这段“无理数危机”的传说,里面出现了“血腥/淹死/杀害”之类词,被我们的本地 graphic_violence hint 抓住。分类器又超时,于是 fallback 直接 fail-closed。" #Orbyrt# 该说不说想的有点太多了吧....
发布于 日本
