御本尊として、如意輪観世音菩薩を安置する、真言宗豊山派の寺院です。
元禄１１年（1698年）１０月法印権大僧都により開基されたと伝わっておりますが、天正１４年（1586年）に御本尊の修理の記録があるため、建立自体はそれ以前と思われます。
資料によると、牛込村には「法持院」、「與楽寺」、「観音寺」の三寺がありましたが、明治１２年３月に法持院より出火し、付近にあった與楽寺も類焼、この二ヶ寺を観音寺に合併したと記されています。
その後、荒廃のため明治１９年海量僧正によって與楽寺跡地に檀信徒、村民の協力により移建再興しました。
令和５年には昭和１１年以来となる御本尊の修理を行いました。
