徐霞客出身江阴儒学世家，属于地方乡绅阶层，其家族拥有田产和仆从符合当时的社会常态。这种主仆关系在历史上属于制度性存在，而非个别现象。

《徐霞客游记》中多次提及仆从（如“顾仆”“王奴”等）陪同他长途旅行，负责行李搬运、炊事等杂役。其中曾记载仆从不堪艰辛而逃走的事件（如“顾仆遁去”），但徐霞客对此多表现为无奈而非严厉惩罚，并无直接证据表明徐霞客家族对下人存在超乎时代惯例的苛待。

明代仆役的法律地位低下，但具体到某个家族是否过度压榨，需依赖确凿的账簿、诉讼档案等原始资料，目前尚未发现关于徐霞客的此类直接文献。

一个在地方上以残酷手段盘剥乡里的家族，很难想象能培养出徐霞客这样将全部心力投入地理考察、并受到后世尊崇的人物。当地地方志（如《江阴县志》）只记载徐氏家族“世承儒业”，徐霞客高祖徐经曾因科举案卷入风波，但未涉及虐待仆役的指控。如果徐家真有如此引起公愤的恶行，在当时的地方文献或文人笔记中不太可能毫无痕迹。

徐霞客的旅行经费主要来自家庭支持，以及沿途朋友、地方官员和佛教寺庙的接待与资助。在《徐霞客游记》中，详细记录了他的花费，如租船、雇轿、买米、付宿费等。

徐霞客的考察活动多在偏远险峻之地，时常陷入断粮、遇险的困境。如果他抢劫，这在人生地不熟、且宗族势力强大的乡村地区是极难存活并完成长达三十多年旅行的。

他的游记中多次记载了与当地居民（包括少数民族）的友好交往、购买食物、请求带路等正常互动。而我们在评价历史人物时，应当秉持“有一分证据说一分话”的原则。