วัดถ้ำกลองเพลเป็นวัดป่าที่มีชื่อเสียงของจังหวัด ตั้งอยู่เชิงเขาภูพาน สันนิษฐานว่าเป็นวัดเก่าแก่สร้างขึ้นในสมัยขอมเข้ามาครอบครองแผ่นดิน แต่ไม่มีหลักฐานว่าสร้างมาตั้งแต่ พ.ศ.ใด ต่อมาเป็นวัดร้าง ไม่มีพระภิกษุสามเณรจำพรรษา
จนกระทั่งเมื่อ พ.ศ.2501พระอาจารย์หลวงปู่ขาว อนาลโย พระวิปัสสนากรรมฐานสายพระอาจารย์มั่น ภูริทัตตะเถระ ได้อาศัยวัดแห่งนี้เป็นสถานที่วิปัสสนากรรมฐาน โดยใช้พื้นที่ที่เกิดจากหมู่ก้อนหินขนาดใหญ่ 3-4 ก้อน มีหลืบและชะโงกหิน ก่อเป็นหลังคาคอนกรีตเชื่อมถึงกัน ทำให้พื้นที่บริเวณนั้นกลายเป็นห้องโถงขนาดใหญ่ สามารถจุคนได้หลายร้อยคน เพื่อใช้เป็นที่บำเพ็ญสมณธรรม จนกระทั่งมรณภาพเมื่อปี พ.ศ.2526
ภายในบริเวณวัดบรรยากาศร่มรื่น เงียบสงบ มีเนื้อที่กว้างขวาง ปกคลุมไปด้วยแมกไม้ ป่าเขียว และสวนหินธรรมชาติรูปร่างประหลาดดูสวยงาม นอกจากนี้ภายในห้องโถงใหญ่ (พระอุโบสถ) ยังประดิษฐานรูปปั้นของหลวงปู่ขาว และกลองโบราณสองหน้า หรือที่ชาวบ้านเรียกว่า “กลองเพล” ตามซอกหินมีพระพุทธรูปขนาดใหญ่ประดิษฐานอยู่หลายองค์ ประกอบด้วย พระพุทธรูปปางสมาธิ พระพุทธรูปปางไสยาสน์ พระพุทธรูปปัญฑรนิมิตร ซึ่งเป็นพระพุทธรูปปางลีลาที่จำหลักลงในก้อนหิน และด้านหน้าเป็นที่ประดิษฐานพระสังกัจจายน์องค์ใหญ่ มีถนนลาดยางลัดเลาะไปตามแนวป่า และหมู่ก้อนหินรูปทรงแปลกๆ เป็นระยะทาง 2 กิโลเมตร ก็จะถึงอนุสรณ์สถานของหลวงปู่ขาว ที่ประกอบด้วย
-พิพิธภัณฑ์อัฐบริขารหลวงปู่ขาว อนาลโย เป็นพิพิธภัณฑ์ที่สร้างขึ้นเพื่อเก็บอัฐิและรวบรวมเครื่องอัฐบริขารของหลวงปู่ขาว เป็นที่สักการบูชาของพุทธศาสนิกชนทั่วไป
-กุฏิเก่าของหลวงปู่ขาว เป็นเรือนไม้หลังเล็กๆ ตั้งอยู่กลางดงไม้ บรรยากาศร่มรื่น ส่วนกุฏิใหม่สร้างเป็นเรือนทรงไทยทันสมัยหลังใหญ่
-พิพิธภัณฑ์หุ่นขี้ผึ้งหลวงปู่ขาว ตัวอาคารสร้างขึ้นในรูปทรงของก้อนหินเรียงกัน 3 ก้อน เพื่อให้เข้ากับภูมิประเทศของวัดถ้ำกลองเพล ซึ่งเต็มไปด้วยสวนหิน รอบ ๆ บริเวณตกแต่งด้วยไม้ดอกและสนามหญ้าสีเขียวขจี ภายในพิพิธภัณฑ์มีหุ่นขี้ผึ้งของหลวงปู่ประดิษฐานอยู่ในท่านั่ง ห้องข้างๆ ยังมีเครื่องอัฐบริขารของหลวงปู่ขาวตั้งแสดงไว้ด้ว
-เจดีย์หลวงปู่ขาว เป็นเจดีย์ที่สร้างขึ้นเมื่อใช้บรรจุอัฐิหลวงปู่ขาว สร้างอยู่บนลานหินมีบันไดเป็นทางเดินขึ้นไปสู่องค์เจดีย์
-มณฑปหลวงปู่ขาว เป็นมณฑปจตุรมุขที่หลวงปู่ขาวสร้างไว้ครั้งยังมีชีวิตอยู่เพื่อใช้เป็นที่ประกอบพิธีสังฆกรรม รอบ ๆ บริเวณ เงียบสงบและร่มรื่น