據舊志所載，當年張三丰曾來過江樓，並題詩一首。詩中寫道：
「誰喚吾來蜀地遊，北津樓勝岳陽樓。
煙迷沙岸漁歌起，水繞江城歲月收。
萬里煙波朝夕湧，千層白塔古今浮。
壯懷無限登臨處，始識南來第一洲。」
這首七律，至少提供了兩個資訊。其一，道長來四川是為了遊歷，是因果城的過江樓所吸；其二，此樓不但在蜀中有名，就算在全國也頗具影響。這第二點決非臆斷。要不，三豐道長也就不會千里迢迢，來到偏遠的川北小城。要知道，蜀道之難難於上青天。在那樣的年月，如果不是盛名之下，恐怕很難有人會有如此雅興，絲毫不懼道阻且長，大老遠地來看果城的一座江樓。他不但來了，而且還給予高度評價，認為斯樓，是比得過江南嶽陽樓的。
詩中，還生動描繪了當年南充嘉陵江畔的旖旎風光：萬里江波，古塔悠悠；煙迷沙岸，漁歌唱晚。此境此意，儼然一幅自然天成的潑墨山水，令今人讀過，真不知是道長成就了這過江之樓，還是這江樓，成就了道長那膾炙人口的傳世名篇。
民國十年北津樓失火，本城百姓紛紛捐款，並用集資所得款項，在上河街建起「三豐樓」；民國十六年，三豐樓為軍閥拆毀，廢墟又開建「靖江樓」，系5層磚樓，時為全城最高建築。原來的三豐樓，則透過本地市民集資，遷移到了上河街南頭，上河街故又稱「三豐街」。1978年，三豐街、水府街及禹王前街等，在城市建設的程序中相繼被改造，併入現在的濱江路南段。
嚴格說來，過江樓指的是上河街處的北津樓，但老百姓們分辨不清，便把沿江的古之名樓，都籠統呼之為「過江樓」了。
談到「過江樓」，很多人都會望文生義，認為建樓是便於通行，是迎來送往的「交通之橋」。其實不然。這裡的「過」字，當作「觀」解，是過眼的意思。也就是說，當初修樓，主要的目的還是觀景，便人通行倒在其次了。據一些高壽的南充人回憶，先前過江樓，還是民眾聽曲兒的地方，節日之際，民間幫會也常來演戲。在斯樓劇臺，任瀚曾經撰有一聯。聯雲：
「大江東去，浪淘盡千古英雄，問樓外青山，山外白雲，何處是秦宮漢闕；
小院春來，燕喚起一簾風月，看溪邊綠樹，樹邊紅雨，此中有舜日堯天。」
