Bước chân vào cổng, một không gian khác biệt khiến du khách ngỡ ngàng. Những bậc tam cấp dẫn lên ngôi chùa có tên là Tam Giác. Chùa khác lạ bởi nằm trong lòng một hang đá, lúc nào cũng nghi ngút nhang khói, chùa thờ Phật Thích Ca, Khổng Tử và Lão Tử.

Thắp nén nhang cho đức thánh thần rồi tiếp tục bước xuống các bậc tam cấp và rẻ qua bên trái là bắt đầu bước vào động Nhị Thanh. Danh thắng Nhị Thanh được phát hiện và tôn tạo bắt đầu từ cuối thế kỷ 18 (năm 1779) do công của Ngô Thì Sỹ - một vị quan triều Lê, được cử lên Lạng Sơn làm quan Đốc trấn. Bên cạnh việc chăm lo giữ gìn biên ải và an dân, ông đã phát hiện ra động Nhị Thanh, đặt tên cho động, đồng thời cho tôn tạo, biến nơi đây thành một nơi sinh hoạt văn hóa tinh thần của nhân dân.

Muốn vào động phải đi ngang hồ Nhất Bình, nước ở đây được suối Ngọc Tuyền cung cấp. Khi vào động, khách có cảm giác chẳng khác gì bước vào động ở Hạ Long. Động Nhị Thanh dài chừng 500 m, ngoằn ngoèo và nhiều ngõ ngách, với bao nhiêu là nhủ đá tự nhiên rũ xuống tuyệt đẹp. Nhủ đá tạo ra nhiều hình dáng ngoạn mục, tùy theo trí tưởng tượng mà mỗi người nghĩ nhủ đá như dây leo quấn quít, các cánh tay vươn, con thú ngộ nghĩnh… Dọc theo động là suối Ngọc Tuyền làm không khí trở nên dịu mát và con đường nhỏ uốn cong theo suối, nếu thính tai, du khách có thể nghe tiếng cá bơi lội, vẫy vùng. Thấp thoáng trên đường đi là những bàn thờ và các bài văn của nhiều danh nhân, văn thi sĩ thời xưa.

Say mê đọc những dòng thơ bất tận, du khách bất chợt gặp khoảng rộng ngay giữa động. Nơi đây nhận ánh sáng từ trên cao gọi là cửa Thông Thiên chẳng khác nào ánh sáng Không Động ở Ngũ Hành Sơn ở Đà Nẵng, ánh sáng tự nhiên ùa vào chiếu lên các bài thơ trên đá khiến cho khách phải dừng chân lâu hơn. Phía cao nhất đối diện cửa hang là tượng Ngô Thì Sỹ bằng đá.