袍哥是由哥老会演变而来，因其反清故称汉密。参加袍哥日海，称嗨（袍）哥。

传说郑成功占据台湾反清，创“金台明远堂”，写《金台山实录》，由军师陈近南携人内地，目的在组织汉族同胞反清排满。路遇清兵检查，陈怕暴露，将《金台山实录》丢在海内。后被渔人捞得，川人郭永泰以重金购取，并据此书内容在永宁创立荩忠山，有会员四千多人，称哥论弟，仿天地会形式是为哥老会。后来仿《金台山实录》另定规章、切口、仪注，成书为《海底（海中捞出，又称江湖海底）》，因参与者多为散兵、游勇、矿工、船夫，便用《诗经》“岂日无衣，与子同袍”，改称袍哥，同于川军相互之间称袍泽，这样更显亲密。

清代嘉庆间，哥老会组织在民间已经初步形成，各地都立“码头”，其分子大致为：矿工、盐共（据称长寿有盐枭千余人聚众抗官）、船夫、咽噜（流民，强悍者为匪）、散兵（招募之兵，战后遣散，与咽嗜结伙占山为匪，故川匪称山寨为棚子，是军伍习称）。因矿工、 船工均祀龙神，故称首领为“支头大爷、舵爷、舵把子”，称建立组织的地方为码头（山头、香堂，一般称公口）。

白莲教在荆、楚起义失败后人川，联络咽噜，把哥老会的组织组建得更具体。正式设香堂、字号，把分子编组为红、黄、蓝、白、黑