據說，財神爺是有錢人家供奉的，沒錢的人供奉是不會顯靈的。民間流傳有“財神菩薩休妻”的'故事：從前，財神廟財神身邊總有一位端莊美麗的財神娘娘陪伴。後來這位善良的女菩薩突然不知去向，原來她被財神爺給休掉了。財神爺為什麼要休妻呢？這要從一個乞丐說起。有個討飯化子窮得無路可走，討飯路過一座古廟。進廟後，他什麼菩薩都不拜，單摸到財神爺像前，倒頭便拜，口裡禱求財神爺賜財。趙公元帥見是一個叫化子，心裡想連香燭都捨不得點，還來求財？天下有那麼多窮叫化子，我能接濟得過來嗎？可乞丐心中想的正相反，他認為財神總會救濟窮人的，富人不悉吃穿，求財何用？便不住地拜。
這時，財神娘娘動了惻側隱之心，想推醒打瞌睡的財神夫君，勸他發發善心給這叫化子一點施捨。可財神爺不理睬，打了兩個哈欠又閉上了眼睛。雖然是財神娘娘，可財權在夫君手上，夫君不點頭，怎麼好將錢賜給叫化子呢？娘娘無奈只得取下自己的耳環，扔給了叫化子。乞丐突然感到神龕上擲下一物，一見是一副金耳環，知道是財神所賜，急忙磕頭，連呼“叩謝財神菩薩”。
財神爺睜眼一看，發覺娘娘竟將自己當年送她的定情物送給了窮叫化子，氣得大發雷霆，將財神娘娘趕下了佛龕。自此以後，數百年來就再也沒有一個窮人是拜了財神而發財的。