柴荣于后梁贞明七年九月二十四日（921年10月27日）生于邢州尧山（今河北省邢台市隆尧县）柴家庄。他的祖父柴翁（其名佚失）、父亲柴守礼都是当地有名的富豪。后因家道中落，年未童冠的柴荣前去投奔嫁给同乡人郭威的姑母柴氏（即圣穆皇后）。
柴荣生性谨厚，帮助姑父郭威处理各种事务，深受郭威喜爱，而柴氏无子，便收养柴荣为子，当时郭威家境并不富裕，柴荣为资助家用，外出与邺都富商颉跌氏做茶货生意，往返江陵等地。其间学习骑射，略通史书和黄老学说的著作。及至成年后，弃商随郭威从戎。