Đền Thái Vi được nhân dân xây dựng trên nền đất cũ trước đây vua Trần Thái Tông dựng am Thái Vi. Đường chính đạo và sân rồng đều lát bằng đá.  Phía trước có gác chuông treo một quả chuông đúc từ năm Chính Hòa thứ 19 (1689). Đền có kiến trúc rất độc đáo khi các cột, kèo làm hoàn toàn bằng đá xanh nguyên khối được chạm khắc công phu, tỷ mỉ, đường nét trang trí vô cùng uyển chuyển, sống động như là chạm trổ trên gỗ.

Lễ hội đền Thái Vi là dịp để nhân dân tưởng nhớ công lao của các vua Trần, đặc biệt là vua  Trần Thái Tông, người đã có công chiêu dân lập ấp lập nên Hành cung Vũ Lâm.

Đây là lễ hội lớn nhất trong năm của nhân dân Ninh Hải. Ngay từ chiều ngày 14/3 âm lịch, dân làng Văn Lâm đã làm lễ mở cửa đền rước bát hương thánh ra đình Các. Sáng 15/3 âm lịch là ngày chính hội, các đồ tế khí được mang ra, lau chùi sạch sẽ, rước đặt ở sân rồng cùng các lễ vật khác như: bánh dày, hoa quả, oản chuối, thủ lợn, gà luộc, xôi... Đặc biệt xôi phải là xôi trắng tượng trưng cho sự thanh bạch, cao khiết. Ngoài các lễ vật trên, nhân dân còn dâng cúng lên vua một bát cơm gạo tám và một bát canh rau sắng (rau vi) bởi lẽ trước kia, khi vua Trần Thái Tông tới đây thì xung quanh khu vực đền là những rừng rau sắng tốt tươi.

Hình thức tổ chức lễ hội đền Thái Vi gồm 2 phần chính: phần lễ và phần hội. Phần lễ gồm rước kiệu và tế. Phần hội gồm các trò chơi truyền thống như: múa lân, múa rồng, đánh cờ người, đấu vật, bơi thuyền, kéo co...

Trong phần lễ, lễ rước kiệu được thực hiện bởi các nam thanh, nữ tú ăn mặc theo phong tục lễ hội xưa trang nghiêm, thành kính. Các cỗ kiệu đều được sơn son thiếp vàng lộng lẫy. Khi đoàn rước đã vào tới đền, nghi thức rước đuốc sẽ được tiến hành. Sau khi dâng hương ở trong cung, ngọn đuốc được rước ra và đốt lên ở trên mâm đá đặt ngoài sân rồng. Kết thúc phần lễ là phần tế. Ông chủ tế sẽ đọc một bài văn tế ca ngợi công đức của vua Trần Thái Tông bằng nghệ thuật diễn xướng.

Lễ hội đền Thái Vi là dịp để người dân thể hiện đạo lý tốt đẹp “uống nước nhớ nguồn” của dân tộc ta. Đây cũng là cơ hội đặc biệt để du khách có thể ngắm nhìn cảnh đẹp non nước hữu tình của vùng đất cố đô, vừa cảm nhận được không khí linh thiêng của các phần lễ và vừa được hòa mình vào không khí vui tươi rộn ràng của các trò chơi dân gian trong phần hội./.