当天晚上23点左右，对榆社的攻击正式展开了，尽管八路军的进攻人数是守城日军的10倍以上，但在相对下火力上却并不占优势，鬼子碉堡暗堡众多，机枪火力都没停歇过，射击口又小，八路军的机枪根本就无法形成压制性。打了整整3个小时后，772团主攻部队仅仅占了西关靠近城墙的几排房子，离敌军堡垒还有20余米。但由于敌人的火力太猛，这20多米内又没有任何掩体，772团再也无法靠近一步。至于新一团，由于不熟悉县城的分布，突进去吃了小亏后也是进度缓慢，和772团一样卡在了没有掩体的碉堡前。参谋长只好命令各团立即就地取材构筑工事，以小部队坚守，主力疏散隐蔽，待命攻坚武器准备好再尝试一次进攻，如果不行的话，就只能荒废一个白天了，那样38团的压力就大了。
李云龙这边就简单多了，对于两个据点，只派出去了2两个连，其余的部队正在向榆社县城东南角靠近。可能是鬼子把建筑中心放在了县城，所以这两个据点仅仅是一般的砖石结。，在柱子亲自操刀步兵炮下，三炮就彻底轰塌了据点。然后就没有多大意外了，战士们直接一个冲锋就拿下来了，除了几个被流弹和鬼子伤兵自爆受了点小伤外，几乎就没有什么波折，看得旅长眼角直抽抽。看着李云龙这么轻描淡写的用步兵炮轰塌了据点，恨不得抽他两下，非得用炮吗，不知道炮弹珍贵啊，不过想想刘明在独立团，叹了口气便没再说什么。
正好，此时通讯兵将前线进攻不顺的战报带了过来，旅长看了后叹了口气，对通讯兵说道“通知工兵连，尽快把电话线接上，另外，你去通知重迫击炮连，道二号炮兵阵地准备。” “是！”通讯兵跑开了。旅长跟着李云龙本来是防止他上头直接强攻榆社县城的，在他的计划里，拿下这两个据点怎么也得一两个小时不是，所以通讯兵还没来得及接上电话，这会只能让工兵连帮忙了。主要就是李云龙不讲武德的直接步兵炮开路，还两个据点一起进攻的，拿下来总共也就用了半个来小时，本来旅部通讯连正在往这边拉电话线，得，这会不用了，收起来往县城拉吧。虽然据点被轰塌了，好多东西都被埋了，李云龙懒得慢慢挖了，简单的打扫了战场就往榆社县城去了，在他看来拿下榆社县城可比这两个据点重要多了。但是据点塌了埋着的东西，李云龙早就通知了附近的游击队和民兵来处理了，反正又不是他的东西，正好做个顺水人情，还能尽快参加大战，何乐而不为呢。
24日凌晨4点，772团发起了第二次攻击，首先是重型迫击炮的发言。在接好电话线后，旅长便让参谋长将鬼子的碉堡位置发给了重迫击炮连，4门苏式120毫米重型迫击炮，直接就对鬼子西面和西北角的碉堡来了个十连射，然后就立即转移阵地。旅长战前可是通报过的，鬼子可是有山炮的，虽然已经进入县城的772团和新一团山炮没法攻击，但是城外的炮兵阵地还是可以反击的。果然，就在重迫击炮连撤出去200多米的时候，鬼子的试射炮弹就落在了刚才的炮兵阵地上。苏式120毫米迫击炮全部重量也就200多公斤，拆开后拖走也没花到一分多钟，可鬼子的炮弹就已经落下，可见鬼子的炮兵技术能力可比咱们强多了。
不过就在鬼子炮兵还击的时候，772团早已经发起了进攻。120毫米的重型迫击炮弹落下，还是高爆弹，不是杀伤性炮弹，碉堡里的鬼子不是被震晕震死，就是眼冒金星，双耳嗡嗡直响。120毫米的迫击炮弹，要是在开阔地炸开，能直接炸出两三米深，5米左右的圆坑，所以碉堡里的鬼子这个时候可是不好受。772团的战士们趁机冲了上去，靠近鬼子的碉堡，顺着碉堡的射击口就把手榴弹扔了进去，轰，手榴弹炸开，火光闪过，里面的鬼子纷纷倒地。稍微远一点的，先扔个烟雾弹，投得准的，直接一个辣椒弹就扔了过去，鬼子一时没意识到，被辣的哇哇大叫，特别是手榴弹炸开的风吹过，不少鬼子都觉得皮肤上痒痒的，接着就有些火辣辣的感觉，越抓越火辣。一些鬼子忽然叫出特种弹，然后其他鬼子立即转身抓起防毒面具就戴上，但是这皮肤还是火辣辣的，于是再也忍不住，纷纷跑了出去战士们则趁机压上来，攻占了不少的碉堡。
最后这些鬼子被滕本带领的宪兵挡住了，毕竟几个月前的攻打顽军辣椒弹就流传出来了的。鬼子也以为是特种弹，但是深入探查后才知道就是辣椒弹，但是鬼子几乎不吃辣椒，所以对付这种弹只需要戴上防毒面具，皮肤不接触就行。所以在滕本的压制下溃败的鬼子停下了脚步，但是回到碉堡已经来不及了。而且，由于鬼子西北角的溃败，新一团也趁机用无后坐力炮打开了一条路，冲进了堡垒，滕本见此情景，无奈的只好带着残兵往城东的榆社中学转移，不过，转移前，他让一个分队的鬼子带着城内剩余的伪军去阻拦八路军的进攻脚步，可是伪军这群贪生怕死的人，怎么会真心抵抗呢，于是，等这个分队的鬼子带头冲到阵前，一回头差点没当场气死，除了十来二十个死忠和被裹挟来的，其余的伪军不知道什么时候都不见了身影。于是，这么点人怎么能阻挡得住八路军前进的脚步，不到十分钟，这些鬼子都被消灭了，战士们顺着鬼子撤退的方向继续前进着。
经过一个多小时的恶战，鬼子的核心阵地西北角及西面的碉堡，都被八路军攻克，守敌大部被歼。滕本下令向城东的榆社中学转移，因为炮兵阵地就在学校，并利用西南角和东北角残余堡垒继续负隅顽抗，这大大减缓了进攻的速度。此时天已经开始蒙蒙亮了，知道鬼子飞机的厉害，为了打扫战场，清理残余鬼子，而且也是为了避免我军产生过大伤亡，只好决定夜间再行攻击。参谋长看着城东中学的地方，因为鬼子作为军营，不仅靠近峭壁，而且城内的缓坡处还布置了两层铁丝网，后面还有堡垒状的阵地，不知道具体布置的他只好将情况先报给旅长，并让各部主力注意隐藏，留下小股部队清理残敌，但是务必修建好阵地，以防白天鬼子反扑。