長さは32m、奥行5m,入り口の高さが4mもある立派な門は、現在は屋根は瓦に変更していますが、ほぼ当時のままの姿で残っていました。入母屋(いりおもや)造りで、入り口の柱や扉はすべて高価なケヤキ(欅)やツガ(栂)材を使った立派なもので、当時の庄屋がかなり裕福であったことがわかります。玄関正面の家紋は三島紋で、海運の神を祭った大山祇神社との関係もあるのではないかと思われます。
この建物は今から300年以上前に建造されたと言われており、今も残る大型長屋門は数少ないので貴重な建物です。昭和54年に町の重要文化財に指定されました。この門を入って、右上の天井を見ると、駕籠(かご)があります。この駕籠は、庄屋が移動するときに使ったものだそうです。裏庭に残る土蔵とともにこれも三崎町の重要な文化財であるといえます。
しかし、この建物も老朽化が進み、現在は取り壊されて普通のブロック塀になってしまいました。
平安時代、瀬戸内海と宇和海の海賊の大将である藤原純友が打たれた時、三崎に多くの家来がたどり着いたといいます。その後三崎に住み着いたと考えられていますが、その子孫である当時の三崎の豪族江源氏三崎一族が、400年ほど前、氏寺として建てたと考えられています。
その後幾度となく改築を重ねてきました。江戸時代末期にはツガ(栂)の良材がたくさん三崎湾に流れ着くという事件がありました。三崎の人々はこれを「竜宮から贈り物」と考えて、この木材で本堂を改築したという話も伝わっています。
楠の巨木と共に禅寺として風格のあるお寺であり、昭和54年に町の重要文化財に指定されました。近年では平成16年の台風で山門が倒壊し新しくなりました。