วัดถ้ำเป็ด ได้ชื่อว่าวัดถ้ำเป็ดก็เนื่องจากว่าถ้ำแห่งนี้มีต้นตีนเป็ดขนาดใหญ่ที่ยังให้ร่มเงาอยู่ปากถ้ำ วัดถ้ำเป็ดเป็นสถานที่อันศักดิ์สิทธิ์ที่มีพระอรหันต์เดินทางมาธุดงค์ แล้วนั่งกรรมฐานจนเกิดญาณทิพย์อยู่ ณ ถ้ำเป็ดแห่งนี้ ได้แก่ หลวงปู่มั่น ภูริทัตโต หลวงปู่ฝั้น อาจาโร หลวงปู่สมชาย ฐิตวิริโย เพราะเนื่องจากความเงียบและสงบของธรรมชาติของพื้นที่ป่าแห่งนี้ ในปัจจุบันยังคงหลงเหลือ ร่องรอยการมาจำพรรษาที่ป่าแห่งนี้คือกุฏิของหลวงปู่ทั้งสามที่ถูกสร้างจากไม้กระดานแบบเรียบง่ายท่ามกลางความสงบร่มเย็น ปัจจุบันวัดถ้ำเป็ดมีพระอาจารย์ก้าน จิตตธัมโม เป็นเจ้าอาวาส ซึ่งเป็นศิษย์ของหลวงปู่วัน อุตตโม ผู้ก่อตั้งวัดถ้ำพวง ไม่ไกลจากวัดถ้ำเป็ดนัก