胆气既丧，又无统属，其中的晋人便临阵倒戈，打开了城门——晋军乃一涌而入。
随即了激烈的巷战。
因为晋胡之间，仇深似海，则胡人多数都担心晋兵入城之后，将会不分良莠，残酷的大屠杀——因为他们当初在洛阳、长安就是那么干的，难免以小人之心，妄度君子之腹。
别部晋军也就罢了，裴军中军律森严，向来严禁屠城。甄随等将也曾经表示过异议，说：“大都督仁爱，宽以待晋人，也就罢了，如何连逆胡都杀不得啊？且攻城之时，折损必重，兵将各怀忿意，若不使彼等屠城发泄，以盛血气之勇，恐怕不能久驭啊。”
裴该对此的解释是：
“战阵之上，袍泽殒难，兵将自生忿意，但可将忿意发泄于敌军头上，如何使其屠戮城内士人、百姓？古语云：‘兵者凶器也，圣人不得已而用之。’凡人身怀利器，杀心自起，为将者当导其以杀心御寇、止侵、镇国、护民，而不可使其肆意屠戮。若使屠城，谁还管是晋人是胡人啊？若使屠城，士卒杀意弥盛，日后反倒更难驾驭了。”
一支只知道杀戮的军队，士兵们都坚信只要兵刃在手，无不披靡，在这种情况下，你还怎么用军法、军律去约束他们呢？而缺乏约束的军队，将来还怎么可能保证打胜仗？
自古以来，屠城之事屡见不鲜，但其实主要目的不是为了让士卒发泄愤恨，而是为了便其抢掠。因为很多封建军队，对于底层的士卒都供奉不足，小兵经常被欠着薪饷，甚至半饿着肚子，即被驱策上阵，那么倘若不在破城时允其杀戮，从而也允其劫掠，他们还有什么动力继续跟着你干？
城中财货，其实是吊在士兵眼前的一根胡萝卜，将领别无他法鼓舞士气，才只能出此下策。这样的军队，纯靠杀戮和抢掠来维持士气，则一旦遭遇挫折，必然轻易溃散。自汉末三国以来，史书中经常会有成千上万大军为精锐所袭，瞬间崩盘的记载，原因即在于此。
裴该不打算延续这种恶性的将兵法，他希望自己麾下的大司马三军，即便练不成人民子弟兵，甚至做不成“冻死不拆屋，饿死不抢掠”的岳家军，也必须要比同时期的那些暴卒强上一个层次。故而裴军的军律中，是严禁在破城之后肆意屠杀，或者擅入民家的，唯有遭到袭击或者抵抗——起码是严重怀疑对方藏械，图谋不轨——才准反击。
因而晋军进城，原本只是控制街巷、官署，搜捕胡汉官吏、兵将而已，但很快便遭遇到了有组织的抵抗，那自然不能“打不还手”，而必须要反击回去了。
胡人中有不少出于仇恨或者疑虑，或者欲为胡汉尽忠殉死，乃与晋军相斗，但终究属于很小一部分，而且势单力孤，不成气候。能够聚众以抗晋军的，主要都是刘聪诸子，那些王爷们。
刘聪既死，刘曜扶保刘恒登基，就把诸王都软禁了起来。随即他出城遁逃，带上了刘恒那些未成年的兄弟们——大的不过十三四，小的也就四五岁，基本上自从刘聪酗酒烂醉之后，就没再生过儿子了——至于成年诸王，虑其难制，一概不带。
于是刘翼、刘悝、刘骥等人，就只好召集家仆，分授武器，以抗晋人——因为他们知道，即便裴该再如何仁德，能够放过绝大多数胡人，也是绝对不会放过皇汉诸王的，或者一时不得死，将来槛送洛阳，仍难免餐那项上一刀。与其受辱，还不如拼死一搏，说不定有机会突出城去，逃得生路……
裴该进城之后，郭默前来禀报此事，裴该便道：“凡刘渊、刘聪诸子，及彼等近支，一概不必留，取首级来归献天子即可。”
郭默得命，喜孜孜地拱手而去。
于是加强了对诸王的攻杀，最终没有一个人能够逃出平阳城，斩获彼等及党羽首级六百余颗，捡选出诸王、侯，以及王子、侯子等首共九十九级，腌渍了盛入木匣，以待奏捷。
到了天色大明的时候，已然彻底镇定了平阳城，抄掠宫室，尽获刘聪宫人——刘恒尚小，还没有妻妾。这是基于刘曜对刘聪的愤恨，所以刘聪诸妻，他一个都不带走，就连通知都不肯通知一声。
裴该即命将刘聪皇后、嫔妃及诸王侯妃等百余人，以及胡汉重臣三百余人，一并槛送洛阳。普通官吏暂且拘押，待逐一甄别后，再看是杀是囚，也说不定直接释放甚至留用；至于所破家门的其他女眷，也先拘押，将来好分与麾下将兵为妻。
其实当刘聪诸后，什么靳氏、樊氏、王氏、宣氏等等，被蓬头垢面、衣衫不整地押至面前之时，裴该听得群雌哀哭之声，也不禁微微叹息，面露不忍之色，乃自言自语地道：“此亦可怜人也。”按其本意，深宫之中，女子本无罪过，直接放了或者许于他人皆可，但问题身为晋臣，此事不可擅专，还必须得押去洛阳，交给司马邺处置。
咱中国人是讲君臣之礼的，不能跟胡寇似的，刘曜掳得晋惠帝羊皇后，竟然隐瞒不报，自己就收用了……
随即前出骑兵舆回刘光，并且禀报说，刘曜等人又连夜离开西平，继续向西北方向遁去了。甄随大叫可惜，裴该却面色如常——可惜自然是可惜