在海母残酷的教育之下，海瑞始终不知幸福为何物，甚至还总是给身边的人带来不幸他一生娶过三个老婆，纳过两个妾。

第二个老婆进门不到一个月，又因为相同的原因被赶出家门。

第三个妻子也在盛年之时十分可疑地暴死。而此前，他的一个妾也自杀身亡。海瑞的不幸婚姻和海母有着莫大的关系。孝子海瑞甚至到了三四十岁时还和母亲同屋而睡。在海母的铁腕之下，海瑞完全无法独立。

海瑞逼死5岁女儿的事情更是让人不寒而栗。小女儿在饥饿之时，接受了一个男仆人给予的一块饼，恰巧被父亲海瑞看见了。

他破口骂道：“一个好女子怎能随便地接受男人的东西呢?只有你饿死了，才是我海瑞的女儿!”在此番羞辱之下，小女孩竟然铁下心绝食七天，直至死去。
海瑞有子男二人，长名中砥11岁，次名中亮9岁，在海瑞入狱的那一年（嘉靖四十五年）殇逝。晚年又得一子，是侧室丘氏（丘浚曾孙女）所生，不幸3岁而殇。从弟海玥的第二个男孩叫中适，论序继海瑞为子。

海瑞廉介一生，为当时人所敬仰，海瑞家乡成为当时人观瞻的胜地。海瑞谢世后，由于后继乏人，其故居逐渐衰败，至清初，故址已转鬻他姓。

清康熙二十六年（1687），琼州知府佟湘年对一代忠臣的身后遭际感到悲愤，他寻访了海瑞故居的遗址，便以官价赎回，刻石立界标明四至，明令今后不许任何人以任何借口占用。又在遗址中间创建海公祠和丘公祠，购买祭田，请二公后人管理祠堂。