По преданию, храм был основан странствующим индуистским священником Нирартхой (Dang Hyang Nirartha), которого привёл сюда лучезарный свет, испускаемый священным источником. Он начал было проповедовать местным жителям, но это разозлило приходского священника, настаивавшего на том, чтобы соперник ушёл. В ответ Нирартха, медитируя, сдвинул скалу, на которой сидел, в открытое море. Он посвятил свой подвиг богу моря и превратил свой шарф в ядовитых змей, охраняющих новый "остров". Морские змеи и сегодня в изобилии плодятся у подножия скалистого острова, по местному поверью они охраняют храм от злых духов и незваных гостей.