1926年初，张作霖的奉系和吴佩孚的直系联合起来，驱逐了冯的军队，双方进行大战，而同时国民党也开始北伐，全国进入全面混战。同年9月17日，冯玉祥在绥远五原宣布就任国民军联军总司令职，率军参加北伐。冯玉祥还在河南励精图治，积极推行新政，并留下这样的训词：“烟酒必戒，嫖赌必戒，除去骄情，除去侈奢，实行勤俭，为党牺牲，国民革命，方能成功。”