范仲淹对幸进之徒奔竞于吕夷简门下深为不满，绘制了一幅《百官图》进献给仁宗，指明近年升迁的官员中，哪些是正常迁转，哪些有宰相私心，还提醒仁宗说：“进退近臣，不宜全委宰相。”他还援引汉成帝过分信任张禹，导致王莽专政的历史教训，锋芒直指夷简道：“恐怕今日朝廷也有张禹破坏陛下家法！”夷简听说大怒，在仁宗面前逐一辩驳，指控仲淹“越职言事，荐引朋党，离间君臣”，将他贬知饶州。吕夷简还让仁宗在朝堂张贴所谓的“朋党榜”，戒饬百官越职言事。
吕夷简一手遮天、穷治朋党的做法，引起正直之士的强烈不满。秘书丞、集贤校理余靖上书仁宗，请求追改贬黜范仲淹的诏命。馆阁校勘尹洙自愿要求列名范仲淹的“朋党”，不愿再在京师呆下去。欧阳修也在馆阁校勘的任上，他致信右司谏高若讷，批评他身为言官，不敢说话，有何脸面见士大夫。高若讷把信交给了仁宗，于是欧阳修与余靖、尹洙都被贬官出朝。另一个馆阁校勘蔡襄作《四贤一不肖诗》记这一事件，四贤指范仲淹、余靖、尹洙和欧阳修，一不肖指高若讷，一时洛阳纸贵，争相传抄，公道人心在范仲淹这边。而仁宗在这场风波中，听任吕夷简为所欲为，与亲政之初广求直言的做法大相径庭。
王曾这时还是宰相，范仲淹曾当面批评他：“誉扬人才，是宰相的责任。您的盛德，惟独这一方面还有欠缺。”王曾回答说：“倘若当政者，恩欲归己，怨将归谁？”范仲淹深为叹服。王曾与吕夷简并相以后，见他独断专行，许多问题上政见分歧，搞不到一块儿，矛盾再也无法掩盖。
仁宗问王曾有什么不满，他便把所听到的吕夷简招权市恩、收受贿赂的传闻说了出来。仁宗问夷简，他就与王曾在仁宗面前对质。王曾的话难免有点过头，受贿之类指控又难以立即坐实。执政中，参知政事宋绶倒向吕夷简，枢密副使蔡齐则敬重王曾，宰执分为两派经常在仁宗面前争吵个不停。景祐四年，仁宗一怒之下，把吕夷简与王曾，连同追随他们的宋绶和蔡齐都给罢免了。
景祐五年十月，西北党项领袖元昊自称大夏皇帝。十一月，宋仁宗改元宝元。十二月，西北传来元昊起兵反宋的边报，结束了并不值得称道的景祐初政。