Cao Bằng tự hào vì còn lưu lại nhiều dấu tích văn hóa người xưa để lại trong suốt quá trình dựng nước và giữ nước của dân tộc Việt, trong đó, dấu ấn khá sâu đậm còn lại đến ngày nay chính là hệ thống di tích nhà Lê, triều đại có nhiều đóng góp trong lịch sử nước ta, cả về những chiến tích đấu tranh chống ngoại xâm, bảo vệ bờ cõi. Các dấu tích còn lại nằm rải rác trên khu vực huyện Hòa An và Thành phố Cao Bằng. Một trong những dấu tích đó đã được công nhận là bảo vật Quốc gia, đó là bia Ma nhai Ngự chế nằm trên núi Phja Tém, xã Hồng Việt (Hòa An).
Theo tục lệ của địa phương gần 600 năm qua, đêm 14 rạng sáng 15 tháng Giêng âm lịch tại làng Dẻ Đoóng, xã Hồng Việt, huyện Hòa An, tỉnh Cao Bằng, chính quyền địa phương và đông đảo người dân tham gia tổ chức Lễ hội đền Dẻ Đoóng. Ngôi đền Dẻ Đoóng được nhiều đời lưu truyền rất linh thiêng, nên hàng năm, du khách thập phương và nhân dân trong tỉnh đông đảo tìm về.
Đó là một câu trong bài thơ Điếu Lê Khôi của Lê Thánh Tông khi ghé thăm đền Chiêu Trưng Vương ở núi Nam Giới. Ở một bài thơ khác, Lê Thánh Tông cũng đã tôn vinh ông sánh với Nguyễn Trãi: 'Ức Trai tâm thượng quang khuê tảo/Vũ Mục hung trung liệt giáp binh'.
Bia Ma nhai Ngự chế là tên gọi bài thơ khắc trên vách núi của của Vua. Sinh thời, vua Lê Thái Tổ ít làm thơ nhưng đã để lại cho hậu thế 3 bài thơ tuyệt tác đều khắc trên vách đá. Trong đó, bài thơ đầu tiên được các nhà nghiên cứu Hán Nôm phát hiện trên vách đá nằm bên một ngọn núi Phja Tém ở xã Bình Long (huyện Hòa An, tỉnh Cao Bằng) vừa được Thủ tướng Chính phủ công nhận là bảo vật quốc gia.
Không chỉ được thiên nhiên ưu ái, với vẻ đẹp trời ban, Cao Bằng còn là nơi sản sinh những anh hùng kiệt xuất của dân tộc, trở thành điểm đến thu hút du khách xa gần.