สร้างขึ้นราวพุทธศตวรรษที่ 16 ถึงต้นพุทธศตวรรษที่ 17 เพื่อเป็นอโรคยาศาลาสำหรับผู้ที่เดินทางมาประกอบพิธีกรรมที่ปราสาทเมืองต่ำตัวปราสาทประกอบด้วยปรางค์ศิลาแลง มีกรอบประตูเป็นหินทรายด้านหน้าทำเป็นมุขยื่นออกมา ส่วนประตูอีกสามด้านทำเป็นประตูหลอก รอบ ๆ ตัวปราสาทมองเห็นร่องรอยของกำแพงศิลาแลงอยู่โดยรอบแต่พังทลายลงมาเกือบหมดยังคงอยู่เฉพาะส่วนฐาน ด้านบนของปรางค์ด้านตะวันตก มีรูปจำหลักเทพประจำทิศคือพระยมทรงควายมีบรรณาลัยทรงสี่เหลี่ยมสร้างด้วยศิลาแลงอยู่ภายในกำแพงประดับด้วยหินสลักรูปนาค แต่เนื่องจากศิลปะการสลักและลวดลายต่าง ๆ ไม่สอดคล้องกับสถาปัตยกรรมอื่น ๆ จึงสันนิษฐานว่าอาจมีการปรับปรุงขึ้นใหม่ในภายหลังในราวพุทธศตวรรษที่ 18 กรมศิลปากรได้ประกาศขึ้นทะเบียนโบราณสถานกุฏิฤาษีหนองบัวราย ( สระเพลง) ในราชกิจจานุเบกษา เล่ม 99 ตอน ที่ 75 วันที่ 8 มีนาคม 2478 และประกาศกำหนดขอบเขตในโบราณสถานในราชกิจจานุเบกษา เล่ม 99 ตอน ที่ 155 วันที่ 21 ตุลาคม 2525 เนื้อที่ประมาณ 1 ไร่ 3 งาน 71 ตารางวา