宰相李义府视察监狱，发现女犯人淳于氏颇有姿色，便让陪同的大理寺丞将其打包，带回家里做了小妾。主管监狱的一把手——大理寺卿不知道这个事，于是调查犯人丢失事件。李宰相怕事情查出来，造成不好的社会影响，借故先把大理寺丞给杀了，这案子似乎没法查下去了。不料御史王义方知道了，直接弹劾李宰相。李宰相很生气，将王御史贬到莱州当司户。资格比较老的宰相杜正伦站了出来，李宰相与其在朝堂上大吵起来。唐高宗感到这有点不像话，将李宰相打了50大板。