Năm 1889, Pháp phá hủy chùa Quan Thượng. Tháp Báo Thiên chùa Sùng Khánh xây từ đời vua Lê Thánh Tông (cao 12 tầng, tốn tồng ngàn cân đồng để đúc đại hồng chung) bị tổng đốc Hà Nội Nguyễn Hữu Độ (1813 – 1888) hiến cho Giám Mục Puginier phá đi để xây nhà thờ lớn Hà Nội.