祝威廉二世
26-09-25 13:55 微博认证:AI博主

在我做的一套记忆系统里,引入 JEV 以后,非传统知识库模式的性能可以提升 10% 以上。

同一批题,只差开没开 JEV:

Hit@1:41% → 54%,+13 个百分点(相对 +32%)
Hit@5:63% → 79%,+16 个百分点(相对 +25%)
Hit@10:73% → 83%,+10 个百分点(相对 +14%)
MRR:0.517 → 0.653,+0.136(相对 +26%)

前 10 里没有金标的题,从 27 题降到 17 题。逐题看,32 题名次变好,51 题不变,0 题变差;另外 17 题两边都没进前 10。

平均数上去的同时,没有一题变差。

发布于 浙江