Đền Vua Lê dựng trên gò Long (tức gò rồng), một gò đất cao phía Bắc thành Na Lữ. Trong thành có 4 gò đất nổi lên được đặt tương ứng với 4 tên: Long, Ly, Quy, Phượng. Theo truyền thuyết và những tư liệu lịch sử ghi lại, Đền Vua Lê vốn là cung điện trong thành Na Lữ. Thành do Cao Biền xây dựng. Đến thế kỷ XI, Nùng Tồn Phúc (cha của Nùng Trí Cao), thủ lĩnh châu Quảng Nguyên tiếp tục xây dựng. Thời Lý Thái Tông niên hiệu Thông Thụy, năm thứ 6, tức năm 1039, Nùng Tồn Phúc tự xưng là Chiêu Thánh Hoàng đế, đổi tên châu Quảng Nguyên làm nước Trường Sinh; rồi cho xây thành, xây cung điện tại Na Lữ. Tháng 3/1039, Nùng Tồn Phúc bị triều đình nhà Lý tiêu diệt.
Năm 1592, nhà Mạc chạy lên Cao Bằng, Mạc Kính Cung chiếm lấy thành Na Lữ lập cung điện. Sau ba đời sinh sống ở Cao Bằng, đến thời Mạc Kính Vũ bị quân Lê - Trịnh đánh bại. Nhà Mạc bỏ cung điện và thành Na Lữ chạy sang Trung Quốc.
Năm Chính Hòa thứ 3 đời Vua Lê Hy Tông, tức năm 1682, quan trấn thủ Cao Bằng là Lê Văn Hải đã tâu xin Vua Lê cho sửa chữa thành Na Lữ cũ làm đền thờ Vua Lê Thái Tổ (Đền Vua Lê hiện nay); lấy áo bào và thanh kiếm thờ ở chỗ ngai vàng.