ตามหลักฐานที่ปรากฏได้จารึกไว้ว่า วัดเขาพระทอง สร้างมาตั้งแต่สมัยศรีวิชัยตอนต้น หรือในยุคของกษัตริย์คนสำคัญคือ พระเจ้าศรีธรรมโศกราช และพระเจ้าจันทรภาณุศรีธรรมราช เป็นวัดที่เก่าแก่มีอายุประมาณ 800 กว่าปี มีพระพุทธรูปสีทองจำนวนมากถึง 29 องค์ ซึ่งพระพุทธรูปเหล่านั้นประดิษฐานอยู่รอบๆ ภูเขาทางด้านทิศตะวันออก เป็นพระปูนปั้นด้วยปูนขาวผสมด้วยน้ำผึ้งอ้อย และน้ำมันยาง ส่วนโครงสร้างภายในเป็นโครงสร้างที่ทำด้วยไม้เนื้อแข็งทั้งหมด ทั้งที่ยังคงสภาพสมบูรณ์อยู่จำนวน 20 กว่ารูป และทั้งซากปรักหักพังประมาณ 40 - 50 รูป