Dù bị bất ngờ và tổn thất nặng nề ở vùng biên thùy phía nam bởi cuộc tấn công của Lý Thường Kiệt, nước Tống vẫn còn tiềm lực rất lớn. Vua Tống và Vương An Thạch bàn nhau dựa vào sự kiên cố của thành Ung Châu để cầm chân quân Đại Việt, rồi cho một đạo quân lớn đi đường khác đánh thẳng vào lãnh thổ Đại Việt. Vương An Thạch thay vua Tống soạn tờ thư chiêu hàng gọi là Thảo Giao Chỉ Chiếu để dùng cho việc khuất phục tinh thần quân dân Đại Việt, cũng là đối đáp lại những lời lẽ của các văn bản Phạt Tống Lộ Bố Văn mà Lý Thường Kiệt đã cho yết bảng dọc đường tiến quân. “Thảo Giao Chỉ Chiếu” có những lời lẽ thể hiện rõ tư tưởng hống hách của nước lớn, ra vẻ bề trên vừa xoa dịu dụ dỗ, vừa đe dọa vũ lực đối với quân dân Việt. Lời chiếu như sau:
“Xét lại nước An Nam đời đời hưởng vương tước, các triều trước đối đãi khoan hậu, khi nào cũng bao dung tha thứ, mãi đến ngày nay. Nay lại xâm phạm thành ấp, sát hại quân dân, đã phạm pháp kỷ thì không thể tha thứ được. Vâng mệnh trời mà chinh phạt, tức là có danh nghĩa. Vậy sai Triệu Tiết sung làm chức An Nam đạo hành dinh, Mã Bộ Quân Đô Tổng Quản Kinh Lược Chiêu Thảo Sứ, Lý Hiến sung làm chức Phó Sứ, Yên Đạt sung làm chức Mã Bộ Phó Sứ Đô Tổng Quản , thuận theo thời lệnh mà dấy binh đường thuỷ và đường bộ tiến quân. Ý trời tỏ ra giúp thuận, hiện ra những điểm chỉ vẽ rõ ràng. Người nào biết hối hận, đều giữ khí khái đối địch quân thù, những nơi nào quân vua tới sẽ không tổn hại đến thường dân và tàn sát kẻ bại trận.
Hỡi nhân dân đã lâu ngày sống trong cảnh lầm than, nếu biết khuyên dụ chủ mình nội phụ, xuất chúng qui phục, bắt giặc hiến cống, đem mình hiếu thuận, thì sẽ được thưởng tứ tước lộc, vinh hiển bội phần, những tội lỗi trước đây đều được ân xá. Càn Đức đương còn ấu trĩ, chính lệnh không do y mà ra, khi nào lai triều cũng sẽ được tiếp đãi trọng hậu như trước. Lời ta không sai, chớ có nghe lầm. Gần đây, ta nghe nhân dân bị bóc lột cực khổ, ta đã căn dặn sứ thần truyền đạt ân chiếu của ta, sự tàn bạo và thuế nặng đều được tẩy trừ. Mong rằng một nước chư hầu của ta luôn được yên vui.”
Thành Ung Châu kiên cố và có nhiều quân lương, khí giới do đây là nơi tập kết của cải của nước Tống để đánh Đại Việt. Tô Giám lại là một tướng lão luyện của Tống. Y dùng tài sản phân phát cho dân chúng trong thành, dùng lời khích lệ tinh thần khiến cho cả thành đồng lòng cố thủ. Lý Thường Kiệt vây thành ngót hơn một tháng không thể hạ nổi. Quân Đại Việt nghĩ cách đào hầm xuyên qua hào sâu và tường thành để đột nhập vào trong thành. Quân Ung Châu phát hiện được hầm, Tô Giám cho phóng hỏa đốt ngay miệng hầm khiến quân Đại Việt lại bị thương vong. Quân Đại Việt dùng hỏa công, bắn các loại đạn gây cháy từ máy bắn đá và hỏa tiễn vào trong thành gây nhiều thương vong cho dân chúng và binh lính Tống. Thành Ung Châu bị cháy nhiều nơi, không đủ nước dập lửa.
Trong thành lại bị thiếu nước uống, dân chúng phải uống nước dơ bẩn, dịch bệnh do đó mà bùng phát khiến rất nhiều dân chúng bị chết. Dù vậy tường thành vẫn không hạ được. Đạn từ máy bắn đá thời kỳ này tỏ ra không đủ sức đánh thủng tường thành Ung Châu . Cuối cùng, Lý Thường Kiệt dùng kế thổ công. Ông sai quân lấy đất xúc vào bao, làm đến hàng vạn bao đất rồi bắt tù binh người Tống liều mạng vượt qua mưa tên khiên bao đất xếp dưới chân thành để tạo thành bực thềm. Chẳng mấy chốc đã làm được một đường dốc cao tới mặt thành. Quân Đại Việt theo đó tràn vào thành như nước vỡ bờ, thế không ai địch nổi. Tô Giám vẫn liều chết lãnh đạo quân và dân chúng thành Ung Châu chống cự, khi thấy không còn hy vọng bèn quay về nhà giết hết người nhà tổng cộng 36 người, chôn xác xuống hố rồi tự thiêu chết. Tô Giám liều mình như vậy khiến dân chúng thành Ung Châu cảm kích mà không chịu đầu hàng, họ đã chiến đấu đến cùng trong tuyệt vọng. Tai ương đã ập lên tất cả họ, một cuộc thảm sát đã diễn ra.
Lý Thường Kiệt để hoàn thành cuộc chiến tiêu hao đã hạ lệnh giết tất cả người trong thành. Ngày 1/3/1076, thành Ung Châu bị hạ sau 42 ngày cố thủ. Số người thành Ung Châu bị giết đến 58.000 người. Về phía quân Đại Việt cũng có tổng thiệt hại đến hơn vạn người và một số voi chiến trong chiến cuộc Ung Châu. Trước đây, Tô Giám là người đã từng khuyên Lưu Di, Thẩm Khởi không nên khiêu khích Đại Việt vì sợ quân Đại Việt sẽ tràn sang đánh Tống trước nhưng bị gạt bỏ ngoài tai, lại còn bị khiển trách. Nay quả thật quân ta chủ động tấn công trước, căn cứ chiến lược dùng cho việc xâm lăng là thành Ung Châu phút chốc bị đập tan, hàng vạn quân dân Tống bị giết. Với việc thành Ung Châu bị hạ, ta sẽ thấy mọi toan tính chiến lược của nước Tống về sau đều bị đảo lộn. Dù cuộc tấn công này đối với quân Đại Việt mang mục đích tự vệ chính đáng, cũng phải nói rằng trong số những người nước Tống bị giết có nhiều người oan uổng. Họ cũng như quân dân Đại Việt, là nạn nhân trong tham vọng bá quyền của Tống triều.
Lý Thường Kiệt hay tin quân Tống sắp đưa quân sang đánh Đại Việt, liền chuẩn bị một kế hoạch rút quân hoàn mỹ. Ông sai lấy đá lấp sông Ung Giang, một tuyến đường thủy huyết mạch ở phía nam nước Tống. Để đánh lạc hướng quân Tống trước khi rút về nước, Lý Thường Kiệt phao tin là sắp đem quân đánh Tân Châu. Quan giữ thành Tân Châu là Cổ Cắn Lặc nghe tin bỏ cả ấn tín mà chạy trốn. Quân Đại Việt chủ động rút lui về nước lo chuẩn bị về phòng thủ một cách nhanh gọn. Một số thám tử Đại Việt được phái cải trang thành nhà sư, nạn dân, lái buôn người Tống, đi khắp nơi do thám. Quân Đại Việt đốt trại, thiêu hủy lương thực, phá thành, phá các đồn lũy, mang theo nhiều của cải và tù binh rút về nước. Không một đội quân Tống nào dám đuổi đánh do trúng kế của Lý Thường Kiệt, lo quân ta tiếp tục đánh Tân Châu nên các đội quân chính quy vẫn ở thế thủ. Những của cải không đem theo hết được đều bị quân Đại Việt thiêu hủy. Những tù binh không đem theo được cũng bị giết. Đó cốt là để tàn phá bàn đạp mà nước Tống định dùng cho cuộc xâm lược Đại Việt. Cả một vùng rộng lớn thuộc lộ Quảng Tây tiêu điều. Tổng cộng trong toàn bộ chiến dịch đánh Tống, quân Đại Việt đã giết hơn 10 vạn quân dân Tống.
Khoảng cuối tháng 3/1076 Lý Thường Kiệt đã an toàn rút hết quân về nước. Đội quân thiện chiến đã theo ông bắc phạt không có nhiều thời gian để nghỉ ngơi hay mừng chiến thắng. Bởi mọi người hiểu rằng cuộc chiến sắp tới sẽ còn rất cam go. Triều đình nhà Lý bắt tay ngay vào việc điều động quân dân Đại Việt chuẩn bị bước vào giai đoạn chiến đấu mới mang ý nghĩa quyết định vận mệnh dân tộc – đón đánh đội quân viễn chinh Tống trên lãnh thổ Đại Việt.
