寺にある夷谷一帯は、瀬戸内海国立公園の一部に属し、周囲を奇岩に囲まれ、自然に恵まれた風光明媚な所で県の名勝に指定されています。この霊仙寺は六郷満山末山本寺の一つで、本尊は千手観世音菩薩です。国土鎮護の道場として隆盛を極め、石城坊・法華坊・洞石坊・大力坊等翼下に１２坊を有したと言われています。一時衰退しましたが、正平年間（南北朝時代）に再興されました。しかし再び衰退し、慶長８年に再々興され現在に至っています。 本尊は創建当時千手観世音菩薩でしたが、一時期不動明王と阿弥陀如来を本尊とした時代がありました。しかし明治３７年、再び本尊を千手観世音菩薩に改め、現在に至っています。 竹田川を挟んだ対岸に霊仙寺旧墓地があります。多数の五輪塔や磨崖五輪塔がありますが、倒壊、散乱して実数は把握できません。現在境内にある国東塔もかつてはこの墓地にあったといわれています。

（宇佐・くにさきの歴史と文化財／抜粋）