道光年间，楚商李本忠捐建归元寺的罗汉堂。咸丰二年，罗汉堂毁于太平军之手。光绪年间，重建罗汉堂，500罗汉依南岳祝圣寺罗汉拓本而制。 ​​​
罗汉堂的布局呈“田”字型，以“十”字线作为分割，辟出四个天井式的内院，互相连通，各有风道，顶上设天窗，保证了殿堂内的通风和采光。五百罗汉依“田”字排开，毫不拥挤。