1928年5月25日，邢林芝同志出生于河北省大名县郭庄村一个普通农民家庭。

客观地说，邢林芝能够走上革命道路，主要是受了其父亲和叔叔的影响。

邢林芝少年时代，日本帝国主义发动了侵华战争。国难当头之际，中国共产党团结全国人民共同抵抗日寇侵略。因为父亲和叔叔都是革命人士，耳闻目睹间，朴素的爱国爱民思想很快在年幼的邢林芝的心底扎根，13岁就当上了家乡的儿童团团长。

14岁那年，邢林芝坚决要求入伍，成为河北省临漳县公安队战士。因为他体格健壮，身手不凡加之工作积极，勤于学习，很快成长为临漳县公安队副班长，多次被评为临漳县公安队“练兵模范”、“劳动模范”。