ประวัติศาสตร์ของศาลเจ้าอิมามิยะในอาตามินั้นยาวนาน ศาลเจ้าได้รับการบูรณะใหม่ในปีโชจิที่ 2 (ค.ศ. 1200) ตามคำสั่งของมินาโมโตะ โนะ โยริโตโมะ มีเรื่องเล่าว่าในช่วงที่มินาโมโตะ โนะ โยริโตโมะ ถูกเนรเทศไปอิซุ เขาได้หลบเข้าไปในภูเขาอิซุเพื่อลี้ภัยจากผู้ติดตาม เมื่อหมดแรง เขาพบแหล่งน้ำผุดใกล้ ๆ ดื่มแล้วเขาได้รับพลังกลับคืน (น้ำหนึ่งแก้วของโยริโตโมะ) จากนั้นเขาก็ฟื้นฟูพลัง พบต้นคัสซัสใหญ่และศาลเจ้า พร้อมทั้งอธิษฐานเพื่อความสำเร็จและโชคดี โดยทุกปีในวันที่ 19 ตุลาคม จะมีการจัดงานเทศกาลโยมิยะ และในวันที่ 20 ตุลาคมจะมีเทศกาลใหญ่ของศาลเจ้าอิมามิยะ