担任警卫的特务营和教导1营武器装备差，轻重机枪很少，步枪多是老旧太原造、汉阳造老套筒，有的枪支仅打了两三发子弹就炸膛，没打敌人先把自己伤了，还有的枪栓拉不开，要用脚丫子蹬。战士们冒着敌人猛烈的炮火，顽强和敌战斗，从清晨打到黄昏，打退日寇多次进攻。
傍晚，日寇突然向村内施放瓦斯毒气弹，我军当即有不少干部、战士中毒，黄政委也中毒昏倒在地。韩参谋长急忙一边命令特务营的战士们把毛巾用尿浸湿，围住口鼻，一边指挥部队阻击敌人的进攻。黄政委被抢救醒来后，继续指挥部队，迎击敌人新的冲锋。天黑以后，日军害怕八路军有增援部队赶来，只好撤回永年县城。
辛寨战斗，是八路军第2纵队从山区来到平原后的第一仗，击毙日军300多人，我特务营有20名战士和1名指导员阵亡。
晚9时，黄政委决定不在此久留，便命令韩参谋长组织部队撤出辛寨。为防敌人报复，还通知当地村民随部队撤离。
第二天，日军进村，发现村内空无一人，于是放火烧毁了整个村庄。
黄政委、韩参谋长率部队离开永年县境，在敌伪据点中迂回前进，由大名、楚旺之间渡过卫河，穿过内黄，于4月底进入濮阳地区，与杨上将率领的冀鲁豫支队会师。原中共太南区委员会书记张玺也随344旅也来到冀鲁豫边区。
这时，中共冀鲁豫边区委员会正在举行成立大会，同时热情欢迎和慰劳八路军第2纵队司令部及主力的到来。
召开军区成立大会那天，南张保村像过年一样热闹非凡，锣鼓喧天，村内墙壁上到处是标语口号。
参加会议的有军区直属部队3000余人，八路军总部代表，区党委代表。
军区领导分别讲了话，冀鲁豫支队编入第2纵队。黄大将任冀鲁豫军区司令员兼第2纵队政委，杨上将任第2纵队司令员，崔主任改任冀鲁豫军区政委。
党政两方面的领导关系理顺了，下一步就是理顺部队之间的关系了。
原先的方案是：
344旅，旅长刘震，政委康克强，下属687、688、689团3个团
华北抗日民军第1旅，朱程任旅长，闻允志任政委，下属1、3团。
新编第2旅，田守尧任旅长(8月到职)，吴信泉任政委，下属4、5、6团，分别由原冀鲁豫支队第1、2、3大队改编而成，4团团长傅春早，政委周正华；5团团长覃健，政委贺大增；6团团长胡继成，政委鲍启祥(直南特委游击第二支队改编)。
新编第3旅，下属7、8、9团，由独立游击支队与地方武装改编而成，韩先楚任旅长，副旅长赵基梅，政委谭甫仁，政治部主任黄惠良;南下支队，司令员赵承金，政委谭冠三。
不过，后来执行的方案在原先的方案上，有了一点小变动，由于新688团还未成立，临时在纵队司令部参谋处当参谋实习的张庆林偶然提了一条建议，建议平衡新2旅和新3旅的战斗力，将原方案中的4团和7团对换，让新3旅也能有一个主力团，可以在主力南下后，更好的起到稳固稳定根据地的作用。
本来，张庆林还以为自己人小话微，没人会理会自己的建议，不过新3旅的韩旅长可不会放过，软泡硬磨到处活动，竟然就成功了。于是，冀鲁豫支队的第1大队就改编为了新3旅7团，省的在南下的途中，还被杨上将打电报调回去。为了加强4、8、9团的战斗力，教导团新培训的1期学员编成的3个营，被分到3个团里。教导团暂时缺编几个营，只剩下教导1营了。
在整编八路军第2纵队和组建冀鲁豫军区期间，除了扩编了在冀鲁豫边区活动的地方武装以外，还扩招了一大批农村青年参加了八路军，保证了武装部队编制的完整。