Núi Kỳ Lân gắn liền với truyền thuyết về Đinh Bộ Lĩnh. Tương truyền ông Đinh Công Trứ, thân phụ của Đinh Bộ Lĩnh đã thấy cảnh đẹp, ở lưng chừng núi có một khoảng đất tương đối bằng phẳng, giữa là mô đất nổi lên, đã mang mộ của ông nội nhà vua an táng tại ngai này. Hiện nay bia mộ vẫn còn trên núi, dân gian gọi là lăng phát tích tổ họ Đinh, ở đây còn tấm bia có khắc chữ Hán và chữ Việt "Lăng phát tích vua Đinh Tiên Hoàng đế".

Quần thể khu chùa Kỳ Lân bao gồm chùa Hang (chùa Kỳ Lân cũ) và chùa Kỳ Lân mới được xây dựng năm 2022.

Chùa Kỳ Lân cũ nằm cạnh lăng phát tích, phía đông bắc có động Đại Hữu, động ở lưng chừng núi, chiều dài khoảng 100 mét, chỗ rộng nhất tới 30 mét, là động thông xuyên qua núi. Trong động có nhiều nhũ đá đẹp, có lối lên trời, có lối xuống "âm phủ", bởi từ giữa động có khoảng trống cao hun hút lên đến đỉnh núi lộ thiên, lại có hố sâu thẳm đến chân núi, tạo ra âm dương đối đãi, cân bằng, người xưa đã biến động thành chùa Kỳ Lân, còn gọi là chùa Hang.

Trong thời kỳ kháng chiến chống Pháp, chùa đã bị Pháp đốt và đã được nhân dân xây dựng lại, đến thời kỳ chiến tranh chống đế quốc Mỹ, hang Kỳ Lân đã được Nhà nước sử dụng làm Đài phát tín 2 (phát thanh sang Lào và Campuchia), năm 1972, khi bị Mỹ đánh bom Đài Tiếng nói Việt Nam mất sóng 9 phút, thì sau đó tiếng nói "Đây là đài tiếng nói Việt Nam" đã được tiếp sóng của Đài phát tín từ chùa Hang, để người dân yên lòng rằng vẫn còn tiếng nói của Đài, Đài Tiếng nói Việt Nam lại cất cao, vang xa trong mưa bom khói đạn, kết nối hàng triệu con tim Việt Nam.

Nhà nước đã xây dựng trong động những dãy nhà bê tông kiên cố, mái bằng chia thành nhiều ngăn để đặt máy móc phát thanh. Bom đạn giặc Mỹ không thể phá hủy được Đài phát tín đó vì nó nằm trong lòng núi. Sau giải phóng miền Nam, hòa bình lặp lại, Đài phát tín ở trong động được chuyển đi nơi khác, mãi đến năm 1997, nhân dân địa phương mới được sử dụng động để lập lại chùa. Dọc hai lối đi vào bên trong chùa Hang có đặt hai hàng tượng La Hán, phía bên trong động thờ tượng Đức Phật đang ngồi thiền. Nguyên trong hang còn bài thơ "thất ngôn bát cú", khuyết danh vịnh cảnh chùa còn chép ở đây như sau:

Kỳ Lân tiên động là đây

Phật tích tăng quy ở chốn này

Tả có chùa Tiên trên núi đá

Hữu kìa Lăng Tổ giữa rừng cây

Trước cửa từ bi rừng với núi

Trên tòa cực lạc gió cùng mây

Khen thay tạo hóa dày công đắp

Ví cảnh Bồng Lai cũng thế này

Năm 2022, chùa Kỳ Lân mới được xây dựng mới, khang trang, bề thế phía trước chùa cũ, ngay cạnh Hồ Đại Hoàng, với kiến trúc 2 tầng, tám mái, lợp ngói vảy. Phía ngoài hiên có treo quả chuông bằng đồng được trang trí bằng các họa tiết rồng, mây, phượng… Bên trong chùa, phía trên có treo ba bức hoành phi sơn son thiếp vàng, ở phía dưới ngay chính điện thờ tượng Đức Phật đang ngồi thiền, tay phải cầm bông hoa sen, tay trái đặt viên ngọc, bên tay phải từ ngoài vào có ban thờ tượng Phật Bà Quan Âm tay cầm cành liễu, bên tay trái có ban thờ tượng Địa tạng vương Bồ tát.

Hàng năm cứ đến ngày 26, 27 tháng 9 âm lịch, tại núi chùa Kỳ Lân đều cử hành các khóa lễ và lễ húy kị theo nghi thức thành kính, tôn nghiêm. Cũng vào dịp này, con cháu dòng họ Đinh cũng như Phật tử khắp nơi đổ về như trẩy hội để tham dự khóa lễ tưởng niệm chư vị tiền bối, lịch đại Tổ sư đã có công tạo dựng nên ngôi chùa Kỳ Lân linh thiêng huyền bí.