El origen del templo no es certero, ya que presenta dos teorías principales. La primera explica que fue construido en el 622 por el Príncipe Yamashiro por deseo de su padre, el Príncipe Shōtoku, para recuperarse de una enfermedad. La segunda plantea que fue edificado en el 670 por tres monjes – Kudara Kaihōshi, Enmyōshi y Shimohishinmotsu – como parte de la reconstrucción del Hōryū-ji, que padeció un incendio el mismo año.
Del mismo modo, la fecha de construcción no está clara, aunque algunos estudios sugieren que fue en el siglo séptimo. El templo fue designado como tesoro nacional hasta que la última estructura original que quedaba, la pagoda de tres pisos, fue alcanzada por un rayo y quemada en 1944. La pagoda actual es una reconstrucción de 1975, y alberga el reliquiario original salvado del fuego en 1944.