王阳明的二十三世祖王寿把家迁到浙江余姚，直到王阳明为止，王家就始终在余姚繁衍生息。

王家更精彩故事的上演始于王阳明六世祖王纲。王纲生活在元王朝后期，曾得到一个神奇道士传授法术和养生术。当他在幽静山林中修炼时，朱元璋后来的军师刘伯温和他一见如故，相谈恨晚。刘伯温出去辅佐朱元璋时对王纲说，将来我若有了大好前程，必关照你。

想不到几年后，刘伯温真就帮助朱元璋夺取天下，建立大明朝。刘伯温果然说话算话，就把王纲介绍给了朱元璋。王纲当时已70多岁，但看上去却像中年人。朱元璋大为惊异，立即任命他为兵部高级官员。

王纲还未准备好过官瘾，两广地区发生叛乱，他被指定为后勤部长，向叛乱发生地运送军需物资。在一次运送物资的途中，他中了山贼的埋伏一命呜呼，跟随在他身边的儿子王彦达也被活捉。王彦达宁死不降的气节让山贼也很敬服，于是放走了他，王彦达就用一张羊皮把老爹的遗体背回帝国都城南京。不知什么原因，政府没有给王纲半分抚恤金。王彦达一怒之下，又用羊皮把老爹的遗体背回老家，并立下家法：凡我王家子孙绝不许做明帝国的官。