1941年9月18日，小林加入了八路军，先后担任反战联盟支队长、支部书记等职。在他的倡议下，成立了胶东地区的“觉醒联盟”。他们印制传单，向日军喊话，进行反战宣传。小林回忆说，通常情况，第一次喊话，对方是一片痛骂声，第二次喊话，是一阵乱枪，但到第三次则是一片沉默。因为他用亲身经历控诉日军侵华是非正义的，迟早是要失败的。一些日军士兵听了他的喊话开了小差，有的还成了反战同盟的成员。

1943年春天，日军对鲁中八路军根据地进行了疯狂的大扫荡，特别出高价悬赏反战同盟队员的头颅。为此，组织上把小林隐蔽到沂水一位姓陈的武工队队长家，后来又转移到沂源的堡垒户李义胜家。