在我做的一套记忆系统里,引入 JEV 以后,非传统知识库模式的性能可以提升 10% 以上。
同一批题,只差开没开 JEV:
Hit@1:41% → 54%,+13 个百分点(相对 +32%)
Hit@5:63% → 79%,+16 个百分点(相对 +25%)
Hit@10:73% → 83%,+10 个百分点(相对 +14%)
MRR:0.517 → 0.653,+0.136(相对 +26%)
前 10 里没有金标的题,从 27 题降到 17 题。逐题看,32 题名次变好,51 题不变,0 题变差;另外 17 题两边都没进前 10。
平均数上去的同时,没有一题变差。
发布于 浙江
