1929年，林遵被派往英国格林尼治皇家海军学院留学，1934年毕业回国，在国民党海军中任航海官、副舰长。1937年赴德国学习潜艇技术，1939年回国后，历任国民党海军“永绥”舰代副舰长，第五游击布雷大队大队长，国防部研究院海军研究员，参谋总长办公室海军参谋，驻美国大使馆海军副武官，驻西沙群岛舰队指挥官，海防第二舰队司令。抗战期间，他曾率领第五游击布雷大队与日军作战，与新四军有过来往。日本投降后，他率“太平”、“中业”两舰接收南沙群岛，将南沙主岛以所乘军舰舰名改为“太平岛”，并在岛上树立刻有“太平岛”字样的纪念碑。这是林遵人生中辉煌的一页，倾注了他的一腔热血。

恪守“知己知彼”的毛泽东，自淮海、平津战役发起后，即对国民党的长江防线给予密切关注。虽然此时他尚不完全了解林遵其人，但通过中共驻沪特别情报机构写给中央的工作报告，对林遵的一些情况却有所掌握。

在林遵奉命率海防第二舰队进入长江后，中共地下组织便通过各种途径，设法与林遵取得联系。1948年9月，中共地下组织特派员找到了时任国民党《海军月刊社》社长郭寿生，向他转达了周恩来要他归队、争取林遵起义的任务。此后，郭寿生根据党组织的指示，数次与林遵晤谈，话语逐渐投机，两位老友终于敞开心扉，尽吐心声。谈及国民党的腐败和专制统治，林遵愤慨地说：“国民党不垮台，是无天理。”对国民党下达的“于必要时炮击江岸”的命令，他表示断难执行。他说：“作为一个指挥官，他的良心尚存的时候，下令炮击生他养他的同胞和国土，于心何忍！”

郭寿生和盘托出受中共组织委托，前来动员他起义。林遵心头为之一震，略加思索后表示，愿意起义，但具体搞法，还要相机行事。后来，林遵在回忆起这段往事时，深有感触地说：“与中共党的组织建立了直接联系，我如同在长夜中看到了曙光，黑暗里见到了光明。”