市街地を流れる桂川本流に注ぐ、蕗川に沿った細長い蕗谷のほぼ中央にあり、かつては蕗浦阿弥陀寺と呼ばれた本山末寺（高山寺末）です。この「蕗浦阿弥陀寺」という名称は、貞応２年（1223）の「宇佐公仲寄進状案」に宇佐宮大宮司の祈祷所として出てくるのが最初です。 つまり、当初は六郷満山寺院ではなかったことがわかります。 「蕗浦阿弥陀寺」という呼称は、当時においても阿弥陀堂すなわち現在の大堂を核とした寺であったことを示しています。 この大堂は、数少ない平安時代末の阿弥陀堂建築の違例として国宝に指定され、伝乗寺の遺仏である真木大堂に収蔵されている諸仏とともに六郷満山文化の精華とも称されています。 寛延４年（1751）に富貴寺が提出した寺社指出帳には、には、大堂以外に講堂や院主坊・大紋坊・妙蔵坊・南之坊・東之坊・谷之坊・中之坊や末寺の清音寺などの堂舎があったことを伝えています。 平成１１年度、蕗川改修事業に伴い東之坊跡の推定値を発掘調査したところ、建物跡とともに１３世紀代の中国青磁器片や室町時代の硯を検出しました。このことから、１３世紀から１４世紀には寺としての整備がかなり進んでいたことがわかります。現在の富貴寺は、大堂を中心として東南側院主坊跡地に本堂と庫裏の建物があり、東北奥の高まりに奥ノ院、西北側に六所権現を祀っています。境内には板碑や笠塔婆・石殿などの石塔類も数多く残されています。

（宇佐・くにさきの歴史と文化財／抜粋）