ประวัติความเป็นมา
          เดิมที่หมู่บ้านหินก้อนเกิดโรคระบาด เป็ด ไก่ และสัตว์ต่าง ๆ เป็นโรคตายหมดซึ่งชาวบ้านเรียกว่าโรคห่า และโรคได้เริ่มติดต่อมาสู่ชาวบ้านจึงทำให้ชาวบ้านบางส่วนได้อพยพย้ายถิ่นฐานไปอยู่หมู่บ้านอื่น อยู่มาวันหนึ่งมีชาวบ้านคนหนึ่งที่อาศัยอยู่ที่ตีนเขาถ้ำบ่อยาได้ฝันเห็นเทวดาองค์หนึ่งมาบอกว่ามีบ่อน้ำภายในถ้ำสามารถรักษาโรคระบาดได้ ชาวบ้านไปดื่มแล้วสามารถรักษาโรคได้จริง จึงเป็นความเชื่อสืบต่อมาตั้งแต่บรรพบุรุษสมัยก่อน จนปัจจุบันถ้ำบ่อยาเป็นสถานที่ศักดิ์สิทธิ์ มีชาวบ้านมากมายหลายท้องถิ่น เดินทางมาวิปัสสนา กรรมฐาน ณ. สำนักสงฆ์ถ้ำบ่อยา เป็นจำนวนมาก เนื่องจากเป็นพื้นที่ขนาดใหญ่อยู่บนเขาหลวงซึ่งอยู่ในหมู่บ้านหินก้อน ภายในถ้ำมีลักษณะเป็นห้องโถงขนาดใหญ่ มีบรรยากาศเย็นสบายและเงียบสงบ ภายในถ้ำมีสิ่งปลูกสร้างไว้เป็นที่ใช้สำหรับวิปัสสนากรรมฐาน นอกจากนี้ยังมีพระพุทธรูปองค์ใหญ่ รูปปั้นของเจ้าพ่อและเจ้าแม่หลายพระองค์ถูกสร้างอยู่ในห้องโถงใหญ่นั้นด้วย จุดเด่นภายในถ้ำจะมีบ่อน้ำขนาดเล็กแต่มีน้ำขังตลอดเวลาเป็นที่น่าแปลกใจอย่างยิ่ง ชาวบ้านมีความเชื่อว่าเป็นบ่อน้ำศักดิ์สิทธิ์ที่สามารถรักษาโรคต่างๆ ได้ ต่อมาทางจังหวัดนครสวรรค์ได้ทำการสำรวจแล้วเห็นว่า มีถ้ำที่กว้างไหญ่และมีความสวยงามควรรักษาสภาพของธรรมชาติเพื่อการท่องเที่ยว ทางจังหวัดจึงประการเป็นสถานที่ท่องเที่ยว ร่วมกับองค์การท่องเที่ยวแห่งประเทศไทย เพื่อให้สอดคล้องกับทางราชการ และคณะสงฆ์เพื่อรักษาธรรมชาติ ไว้ให้อนุชนรุ่นหลัง คณะผู้ปกครองและกรรมการปกครอง สำนักสงฆ์เขาถ้ำบ่อยาจึงได้ร่วมกันออกทะเบียนสำหรับสมบัติในการก่อสร้างวัตถุถาวรดังนี้
          1. การก่อสร้างใดๆ ที่จะจัดให้ก่อสร้างนั้นต้องเรียนคณะกรรมการการปกครองมาปรึกษาเพื่อความเหมาะสม
          2. ท่านพุทธศาสนิกชนที่มีจิตรเลื่อมใส ศัทธาที่จะสร้างถวาย ขอเชิญขอคำปรึกษา จากคณะผู้ปกครองสำนักสงฆ์เขาบ่อยา
          ลงชื่อ พระสมควร ชาครธรรมโม ผู้ปกครองสงฆ์
          นายกิ่ง เต็งสุวรรณ กรรมการที่ปรึกษา
          นายที่ คำสิงห์ กรรมการ
          นายผัน บัวเทพ กรรมการ
          นายล้วน อินทรเขต กรรมการ
          นายสมนึก ศรีจันทร์ กรรมการ
          นายปรีชา หิริโอ กรรมการ