旅部住在龙亢河南沿河村子里。部队到达此片地区后，立即展开，打击津浦、淮河沿线的日伪军据点，清除被日军利用的反动会道门，发动群众，建立抗日民主政权，实行减租减息，限制高利贷，进行夏收秋耕，很快受到淮上人民群众的欢迎和拥护。
主力部队切了一大块留下后，黄政委下决心以后，静如处子，动如脱兔。
此时，田旅长、吴政委率领第2旅第5团先行进军皖东北，进驻双沟镇附近，配合该地区民兵歼灭伪军200余人，镇压了恶霸武装。
黄政委、韩参谋长率领纵队机关直属队、教导营，指挥第2旅第6团、第4旅第687团由安徽涡阳地区出发，离开豫皖苏根据地，穿过津浦路，抵达津浦路东的皖东北地区，在半城、魏营子、双沟镇一带，与田旅长、吴政委直接率领的第2旅第5团会合集结。
这时，豫皖苏边区党委一批干部及党校学员，也到达皖东北党政军领导机关所在地泗县张塘村。
8月9日，秦庆霖（注：时任白党安徽省盱眙县长兼常备旅旅长）部经临淮南下至管公店、铁佛寺，新2旅派出687团进击，令第5团堵击。
687团也就是老7团到皖东北后，在洪泽湖西南的管镇、仁和集与白党地方顽固势力王光夏打了一仗。
8月10日，老7团派了1个连护送黄政委赶往中原局驻地，与胡服会面。两人畅谈了3天，商量部队整编、建立地方党组织和政府、迅速东进等问题。
根据中原局的决定，所有涡河以北、津浦铁路以东我党领导之各部队，编为八路军第五纵队，以黄大将为司令兼政治委员。部队之具体编制，由黄大将决定呈报。
第5纵队军政委员会成立的时候，八路军尚无统一的具体规定，直到1941年2月7日，中共中央军委颁布军政委员会条例，规定各级军政委员会，由司令员、政委、政治部主任、参谋长等主要负责人组成，人数不超过5至7人，主席一般由政委担任。
第5纵队军政委员会名单是由胡服和黄大将商定的，因为黄大将兼第5纵队司令员、政委、政治部主任，所以可再安排一些部队的同志参加进来，其中除有原苏皖边区军政委员会主要领导成员之外，原八路军第115师苏鲁豫支队、八路军山东纵队陇海南进支队和新四军第6支队第4总队的负责同志都有参加，而黄大将带来的各旅领导干部则一位都没有参加。黄大将这样的安排顾全大局，有利于部队初期的稳定和团结，有利于苏北抗日根据地的开创、巩固和发展。
1940年8月下旬，八路军第5纵队在皖东北半城等地完成整编。原南下之八路军第2纵队司令部改编为第5纵司令部，韩继续任参谋长。
第5纵队下辖3个支队，共9个团、1个保安司令部(指挥地方武装)，共两万余人。
八路军第5纵队机构健全起来，由于缺少干部，部门设置仍以精简为原则，纵队部百余人，设有参谋处、供给部、卫生部，政治机关也逐步建立起来了。
原115师苏鲁豫支队编为八路军第5纵队第1支队，该部原第1、第2、第3大队分别改称第1、第2、第3团；
原344旅687团（第4纵队的第4旅老7团）和原新2旅的两个团（第4纵队的第5团、第6团）编为八路军第5纵队第2支队；
原八路军陇海南进支队1、2团和新四军第6支队第4总队11团合编为八路军第5纵队第3支队，原八路军陇海南进支队1、2团和新四军第6支队第4总队11团分别编为该支队第7、第8、第9团。
八路军第5纵队所辖3个支队来自不同地区，
1支队是苏区红军的老底子，作战英勇，保持了优良传统；