韩霸上次在乡郡已知兖军厉害，这次又仅率两万人南下，不敢相逼，距张业军三十余里就扎下营寨，派出斥候打探。
再说郑庸率主力渡过汾水后，令冉大壮率军一万挺进东西魏边境之吐京，以备西魏军，主力兼程北上，数日后抵达晋阳城下。郑庸下令士卒将晋阳四面围定，准备攻城。贺拔石在城北，赵大岳在西翼，郑庸在城南，城东有张业隔河相望。
黄陵在城内见兖军声势浩大，焦急万分。郑庸派人向城内射入书信，劝黄陵投降。黄陵亦修书射向兖军，大意为：黄某受高欢知遇之恩，誓与晋阳共存亡，此生绝不降郑逆云云。郑庸知招降无望，遂下令士卒开始攻城。
此时兖军并未携带重型攻城器具，主要依靠临时制作的云梯和撞车。但兖军依然是前仆后继，视死如归的援梯而上。城内的三万守军要分守四面，每一面仅不到万人，而要面对两三万兖军的轮番进攻，压力可想而知。攻城开始不久，三面均是处处告急，南翼的兖军在赵大岳指挥下，一度先登，但被黄陵亲自指挥预备队击退。黄陵见东翼汾水对岸张业军一直按兵不动，以为援军已在路上而张业必不敢轻动，遂将东门守军撤往其他各门驰援。
攻城从午后一直持续到黄昏，郑庸见军疲师老，便下令全军撤回休整。城墙上的魏军总算是松了一口气，都一个个横七竖八的躺在城墙上休息。当夜子时，郑庸再次下令全军进攻。城墙上当值守军见兖军复至，忙发出警报。战斗又一次进入白热化。但这次，城东突然也有大批兖军攻城。黄陵得报大惊，忙抽调兵力驰援东城。但魏军坚守三面已是勉强，此时哪里还有多余兵力往援。
原来张业和道恭商议，道恭道：“今韩霸畏我军威，定不敢轻易来攻。可派斥候前去请命大王，今夜其他三面照旧攻城，而我趁夜渡过汾水，从东翼发起攻城，晋阳必破。”张业深然之，令斥候前往郑庸军中请命。郑庸问于敬之，敬之道：“愚亦论韩霸必不敢轻动。”郑庸遂令斥候回报张业，今夜子时河西主力三面同时攻城，张业军分军一万坚守大营以防韩霸，其余兵力悉数渡河，待主力发起进攻半个时辰后开始攻城。斥候领命，飞马而回。
