昔、源平合戦に敗れた平家の軍勢は追撃され、釜木にも落人が命からがら逃げ延びてきたそうです。
平家の1人の武将が部落より約100mほど離れた海岸の大きな岩石の下にもぐりこみました。
これまでくれば源氏の兵士に見つからぬであろうと一休みしました。
そしてそこでまず煙草に火をつけ一服、そして二服、三服と煙を吸っておりました。
ところがその煙が追撃してきた源氏の兵に見つかってしまったのです。
その平家の落人は捕らえられて処刑されたそうです。
地区の人は落人の供養のために旧盆になると、毎年新しいトウバを落人の隠れていた岩にたてるようになりました。
それでその岩をトウバと呼ぶようになり、釜木の人達はみんな、トウバの岩と今日までも親しく呼んでいます。