五木寛之氏の著書『百寺巡礼』では、瑞泉寺の石垣をこのように述べている。

「近づくと、寺の周囲には堅固な石垣が張りめぐらせてあった。寺というよりも城にやってきたのではないか、という感じである。この石垣自体はたぶん、中世のものではないだろう。一説によれば、火事などの防災の目的でつくられたようだ。ただし、この石垣をみていると、かって越中の一向一揆の牙城だったころの瑞泉寺の面影がくっきりと浮かんでくる。中世の寺内町だった井波をしのばせる堂々たる石垣だ。」