直鲁联军中的鲁军，其前身是奉军 2军副军长张宗昌部。1925年4月，奉军 2军副军长张宗昌率部南下，抢夺了山东地盘，北京政府将原皖系山东督军郑士琦调任安徽督办，由张宗昌任山东督办。

张宗昌，字效坤。山东掖县人，生于1881年2月13日。家境贫穷，小时随其母逃至营口，在一家“宝棚”为赌棍帮闲，日与小偷扒手为伍，后流落北满当胡匪。辛亥革命爆发后，张宗昌由关东率胡匪百人至烟台，投山东民军都督胡瑛部当兵。1912年转投上海都督陈其美部下，升任光复军骑兵团长。

1913年，“二次革命”时，在徐州背叛民军，投靠北洋军江淮宣抚使冯国璋。1916年春，陈其美在上海策动反袁时，张宗昌接受袁世凯的金前收买，秘派其营长程国瑞将陈其美暗 ，深得冯国璋的信任，先后升任旅长、军官教育团团长。同年11月，冯国璋任副总统后，委张宗昌为侍从武官长。

1918年初，张宗昌任苏军 6混成旅旅长，率部随湘赣检阅使张怀芝假道江西攻湖南。4月下旬在攸县以南与湘、桂系护法军交战，一触即溃，大败而逃。其后经醴陵转至湘南，收集大量溃兵，改任暂编陆军 1师师长。到1920年6月，张宗昌部退入江西袁州（今宜春)驻防。1921年初，其军队在吉安闹饷被赣督陈光远解散，张宗昌只身北归转投奉军，任宪兵营长。

1922年5月， 一次直奉战争后，前吉林军师长高士傧起兵反奉。张作霖令张宗昌出兵迎击，一战获胜，得张作霖器重，被委任绥宁镇守使，升任吉林省防军 3旅旅长。同年冬，张宗昌又收容一批逃人中国境内近万人的白俄匪军，得到大量枪炮马匹及铁甲车等物，遂成为奉系实力派之一。

1924年， 二次直奉战争时，张宗昌升任镇威军 2军副军长兼 3混成旅旅长。率部向热河进攻，连占阜新、朝阳、开鲁、凌源、建平等要地，进抵冷口与直军激战。10月23日，由于直军将领冯玉祥突然从古北口回师北京，发动政变，使直军正面防线动摇，张先于奉军各军由冷口插入关内，进占滦州切断了榆关方面直军退路，使直军一败涂地。张乘势收编了吴佩孚军队的4个旅，使自己的实力猛增，一跃而为战斗力较强的一支奉军。

张作霖战胜吴佩孚后，为夺取关内的地盘，升张宗昌为东北陆军 2师师长。张又将直军败兵扩编为6个旅又两个梯队。

东北陆军 2师编制序列(1924年10月）

东北 2师 师长 张宗昌

三旅 旅长 褚玉璞

28旅 旅长 程国瑞

29旅 旅长 许琨

32旅 旅长 毕庶澄

卫队旅 旅长 方永昌

补充旅 旅长 姚霁

1梯队 队长 聂嘉夫

2梯队 队长 方振武

1924年11月24日，段祺瑞的中华民国临时总执政的政府成立后，张作霖违背曾向冯玉祥允诺不向关内进兵的约定，不仅派兵威逼京畿，谋取直隶地盘，而且积极准备南下。12月7日，张作霖在天津召集直隶督办卢永祥，陆军总长吴光新，奉军将领李景林、张宗昌等人开会，讨论如何对付直系长江各省督军及将奉系势力向南扩张的办法。

张作霖极力主张奉军南下，沿津浦路推进到直系长江各省；卢永祥欲报江浙战争之仇，重新回到自己失去的地盘；李景林当然愿意卢永祥南下，以便他接任直隶督办；张宗昌则支持卢永祥，希望跟随卢永祥南下以便借机谋得一省地盘。因此，决定请段祺瑞先下令免齐燮元职，并决定推张宗昌以津浦路警备司令名义，率部先行由天津南下。

当时，段祺瑞也幻想借张作霖的兵力，恢复其皖系失去的江、浙地盘，遂于12月11日，下令免去齐燮元江苏省督军之职，以江苏省省长韩国钧暂兼督办江苏军务善后事宜,特派卢永祥为苏皖宣抚使。张作霖趁机升张宗昌为宣抚军 1军军长，令张率部随卢永祥南下淞沪。

由于江苏督军齐燮元内部涣散，没有经过重大战争，张宗昌部就进占上海，夺得了江苏的地盘。齐燮元宣布下野后，所部交由孙传芳接收。此时，浙江督军孙传芳深恐奉系进人江苏后，欲图浙江，于是极力反对奉军进占上海。张作霖也恐战线过长，与孙传芳妥协，将张宗昌部撤回徐州。

1925年2月，段祺瑞委张宗昌为苏皖鲁三省剿匪总司令，驻防徐州。4月，张作霖借“鲁人治鲁”的口号和津浦划作奉系势力范围的成约，向段祺瑞提出了张宗昌督鲁的要求。时任山东督军的郑士琦不愿让位，便指使鲁军将领通电反对更换本省长官。

但张作霖对山东地盘志在必得，不断向段祺瑞施加压力，迫使段祺瑞向奉系妥协，遂于4月24日调山东督办郑士琦为安徽督办，王揖唐专任安徽省长，而以张宗昌继任山东督办，姜登选为苏皖鲁剿匪总司令。

张宗昌进人山东以后，对原山东的军队进行了改编或遣散，对于持反对态度的地方部队，毫不含糊地予以武力解决。这样，张宗昌总共改编原山东军队2.8万人，加上随其开进山东的5个旅和两个梯队约6.5万人，总兵力约为10万之众。至此，张宗昌部已成为奉军中一支不可小觑的重要力量。不久，奉军整编，将张宗昌部改编为东北陆军 2师，张宗昌兼任师长。