Chùa Tháp là một quần thể tôn giáo tín ngưỡng, bao gồm: chùa thờ Phật; đền thờ Đinh Điền - vị quan tứ trụ triều đình của triều Đinh cùng với phu nhân của ngài là Thượng Trân Trưởng Công chúa và Kiều Mộc Thiền sư; miếu thờ thủy thần.

          Lịch sử hình thành của chùa Tháp gắn liền với cuộc đời và sự nghiệp của nhân vật lịch sử Đinh Điền trong những năm cuối đời của ông. Đinh Điền (924 - 979) - một danh tướng của Đinh Bộ Lĩnh, quê ở phủ Trường Yên, vốn là bạn chí thiết của Đinh Bộ Lĩnh. Thời trẻ, cùng các bạn đồng lứa là Nguyễn Bặc, Trịnh Tú, Lưu Cơ tham gia các trò chơi đánh trận giả của trẻ chăn trâu, suy tôn Đinh Bộ Lĩnh làm “chủ tướng”. Lớn lên, ông theo Đinh Bộ Lĩnh chiến đấu, dẹp loạn 12 sứ quân, lập được nhiều chiến công lớn. Khi đất nước thống nhất, Đinh Bộ Lĩnh lên ngôi hoàng đế, hiệu là Đinh Tiên Hoàng, đặt tên nước là Đại Cồ Việt, ông được phong chức Ngoại giáp, trông coi việc binh ở các đạo.

          Chính giữa quần thể di tích là ngôi chùa, gồm hai tòa Tiền đường và Thượng điện. Tiền đường gồm có 2 mái, 5 gian. Hai gian bên của Tiền đường đặt hai pho tượng Hộ pháp bằng đất, sơn thếp cổ kính, đường nét tinh tế, uy nghiêm. Gian giữa của Tiền đường thông với sân gạch phía sau. Thượng điện nằm phía sau Tiền đường, cách một khoảng sân gạch nhỏ. Thượng điện chạy dọc, nằm vuông góc với Tiền đường, dài 9m, có 3 gian. Trung tâm Thượng điện bài trí tượng Phật và chư vị bồ tát, bên trái phía trong cùng đặt hai pho tượng thờ Huệ Thanh và Huệ Tĩnh - học trò của Kiều Mộc Thiền sư, những người có công mang xá lị của Đinh Điền và phu nhân của ông về an táng tại tháp chùa.

          Nằm bên trái chùa (phía Đông) là đền thờ Đinh Điền. Đền có kiến trúc theo kiểu “chữ nhị”, gồm 2 tòa Tiền bái và Hậu cung. Tiền bái có 2 mái, hai mặt trước và sau không xây tường mà để trống. Hậu cung có mặt nền nằm song song và cách Tiền bái một khoảng sân nhỏ. Hậu cung có 2 mái, trước kia mái trước làm theo kiểu cổ đẳng, hiện nay đã làm liền thành một mái.

          Bên phải chùa (phía Tây) là miếu thờ Thủy thần. Miếu được xây dựng kiểu thờ dọc, 3 mái với mái hiên phía trước có 2 góc đao uốn cong mềm mại, đầu đốc phía trước trang trí hổ phù. Miếu có 3 gian, 1 chái, kết cấu bộ khung gỗ 4 hàng chân cột. Ở hàng cột thứ 2 lắp cửa bức bàn, tạo thành cung cấm ở phía trong. Trang trí chạm khắc tập trung ở bộ vì ngoài cùng, trong đó vì nóc chạm nổi hình hổ phù lớn, vì nách chạm vân cuộn và lá. Các đường nét trang trí được chạm nổi khá lớn, mang phong cách nghệ thuật thế kỷ XIX, tương đương với niên đại Thành Thái thứ 15 (năm 1903) ghi trên thượng lương gian thứ nhất của ngôi miếu này.

          Sau đền thờ Đinh Điền là ngọn tháp gạch cổ. Đây là công trình kiến trúc có giá trị về lịch sử và nghệ thuật. Theo thần phả, tháp được xây dựng từ thời nhà Lý. Tháp hiện cao 8m, chân vuông, kích thước 2m x 2m. Trước đây tháp có 7 tầng, vào cuối thời Lê,  đầu Nguyễn bị gió bão làm đổ 2 tầng trên cùng. Ngôi tháp hiện còn 5 tầng không đều nhau, thu nhỏ dần về phía trên, đỉnh tháp có gắn bầu rượu. Gạch xây ngôi tháp này được nung chín già, như sành. Lác đác có hòn gạch khắc chữ “phương” (bằng chữ Hán) và hình hoa khế. Phần thân tháp trát vữa, 4 mặt tháp ở tầng 2 được trang trí hình tứ linh, các đôi câu đối chữ Hán hiện bị mất nhiều nét không đọc được. Tại tầng ba, các ô hộc bốn mặt được trang trí hình tứ quý. Đây là một ngôi tháp cổ hiếm hoi còn lại trên vùng đất Ninh Bình, là nguồn gốc tên gọi của di tích: chùa Tháp.

          Nguồn tư liệu Hán Nôm hiện còn lưu giữ tại chùa cũng rất phong phú, có giá trị về lịch sử và văn hóa. Tại di tích, còn lưu giữ được 12 đạo sắc phong của các triều đại Hậu Lê và Nguyễn phong cho các vị được thờ cúng tại di tích; các bản thần tích về Đinh Điền và Thủy thần. Ngoài ra còn hệ thống tượng thờ, đại tự, câu đối chữ Hán có niên đại thời Nguyễn. Đây là những tư liệu quý góp phần nghiên cứu, tìm hiểu về lịch sử, văn hóa và con người vùng đất này, đặc biệt về nhân vật lịch sử Đinh Điền.

          Khu di tích chùa Tháp mang giá trị lịch sử, văn hóa đặc sắc. Ở đây có sự hòa quyện giữa tôn giáo (Phật giáo) và tín ngưỡng dân gian (thờ Thủy thần) của người Việt. Vừa là nơi tu tập, thực hành tôn giáo của các tu sĩ, tín đồ Phật giáo, vừa là nơi thờ cúng, tưởng niệm Đinh Điền - một nhân vật lịch sử có công lao to lớn trong việc thống nhất đất nước, góp phần lập nên nước Đại Cồ Việt ở thế kỷ X, nhà nước phong kiến trung ương tập quyền đầu tiên trong lịch sử nước ta. Sự xuất hiện của miếu thờ Thủy thần trong quần thể di tích đã phần nào minh chứng về sự khởi thủy của vùng đất này. Di tích còn có các công trình kiến trúc cổ kính, lưu giữ được nhiều hiện vật, tư liệu quý có giá trị lịch sử và văn hóa cao, thể hiện bề dày truyền thống lịch sử, văn hóa của nhân dân Ninh Bình nói riêng và của dân tộc ta nói chung.