《江渚风林图》曾著录于吴湖帆《丑簃日记》1938年3月3日的日记中：
又蒋穀孙取来云林小幅，即董香光赏识之“江渚暮潮初落，风林霜叶浑稀。
倚杖柴门阒寂，怀人山色依微。
至正癸卯九月望日戏为胜伯徵君写此，并赋小诗。
倪瓒一图也。
此画为项子京旧藏，后归高江村，载入《销夏录》中者。
下角有“宋学士景濂”一印，精品也。
“宋学士景濂”印应是“金华宋氏景濂”印。
但在当天的日记中并未明确记载：《江渚风林图》是还给了蒋穀孙，还是留在了梅景书屋。
而在三个月后的6月26日日记中又有记载曰：
曹友卿携穀孙易物来，带去倪云林《江渚风林图》、毛影宋钞《梅屋诗余》、《石屏长短句》、《槃斋乐章》三书、《花草粹编》一部、金孝章校明钞《金国南迁录》一本、宋刻《后村词》一卷，倪画原非易中物，毛钞《梅》、《石》二种余旧藏。
带来余旧藏《汉侯獲碑》二轴、元拓《史晨前后碑》二本、明拓《景君》、《韩敕》、《郑固》三碑及张伯雨书轴。
以上三物去年易去，余为托穀孙经售梁楷画，故易之。
后梁画未成交，余欲易还，而穀孙不肯，索之再三，终不理会。
近观云林《江渚风林图》被余扣住将一月，乃得将原物易归，盖五汉碑皆外祖沈公物也。
上述之事的大致经过是：
吴湖帆曾委托蒋穀孙卖掉一幅梁楷画，而将《汉侯獲碑》等五种汉碑拓本转卖给了蒋氏。
但因梁楷画后来未能成交，所以吴湖帆就想将五种汉碑拓本赎回。
但他再三追索，蒋氏始终不肯。
而恰好蒋氏的藏品《江渚风林图》一个月前已在吴湖帆手中，所以扣下倪画不还。
蒋氏无奈之余，只得托曹友卿将五种汉碑拓本归还。
而吴即将《梅屋诗余》等六种古籍和钞本抵作购回五种汉碑拓本的价款，同时也将《江渚风林图》还给了蒋氏。
吴湖帆外祖父沈树镛旧藏五种汉碑拓本，除《郑固》外，其余四种均著录于沈氏《郑斋金石题跋记》一书中，可谓是梅景书屋中的祖传之物。
虽非稀世名拓，但对吴湖帆而言，其中寄托了有一种对祖先的特殊情感。
而吴湖帆当初之所以要将之转让给蒋穀孙，都是因为那幅梁楷《睡猿图》所“惹的祸”。
上世纪三十年代初，张大千在苏城网师园中，以宋人佚名（一说是牧溪）册页《睡猿图》为蓝本，赝制《睡猿图》轴，并署南宋画家梁楷款。
伪添南宋著名刻书家、贾似道门客廖莹中题字：“梁风子睡猿图神品”。
并用木印仿制名家鉴藏印钤于图上，又请苏城人周龙苍做旧。
再暗托津城某古董商携至上浦兜售，云是从清宗室府中流出，据传当时售价为十两黄金。
后此图为吴湖帆收藏，成交价格不详。
吴湖帆还将此图著录于《吴氏书画记》卷一中。
时张大千与吴湖帆交往甚密，常至梅景书屋鉴赏书画。
当张见此图已被吴视为珍秘之物时，又不便明言，只是婉转告知此图似不可靠，暗示应转售此图。
吴湖帆时在上浦书画鉴定界号称“一只眼”，自负甚高，故不为所动。
在此期间，张大千还曾介绍广省买家到吴家观赏《睡猿图》，当是有意为之中介。
后张大千再仿一幅同图式梁楷《睡猿图》（据说后为王季迁收藏）送好友陆丹林，陆携此图至吴家请鉴赏。
此时吴湖帆方知当初“走眼”，但关乎自己名誉，故亦不明言。
遂延请叶恭绰为此图作长跋，叶跋中有“纸莹如玉，墨黝如漆，光采竦异，精妙入神”，以及“使艺林得沾法乳，神而明之，存乎其人。有志之后学，不惊为河汉”等夸张不实之辞。
并在诗堂上大字题曰“天下第一梁风子画”。
不知当初叶先生是在怎样情形之下作此长跋和题字，是否真属“走眼”？
还是两人“合谋”？
但叶先生在后来出版之《矩园余墨》、《遐庵谈艺录》等书，此段长跋未予刊入。
传抗日战争结束后不久，《睡猿图》以高价卖给一美国人（一说日本人），今藏美国檀香山博物馆。
此是后话。
吴湖帆和蒋穀孙两人经过了《江渚风林图》风波后，似乎从此“绝交”。
至少在以后的《丑簃日记》中，蒋的名字再没有出现过。
而在此之前，蒋的名字几乎每隔一二天就会出现在日记中。
即便是后来潘静淑治丧期间，海上名人和亲朋皆往吴府吊唁奠仪，也仍未见有蒋穀孙的名字。
在1938年7月12日的日记中，记录了“大嘴”陈巨来的传话：“巨来云，前日冒鹤老得袁某绝交书后日记云：‘○○来书绝交，此损友也。听之。’寥寥十余字，斩钉截铁，胜绝交书万倍也，敬佩敬佩。”
如不了解此前吴、蒋之间曾经发生的事情，则上述文字中所暗含的旨意就无从“破译”也。
在当时上浦书画鉴藏界，梅景书屋是一个著名的交易“沙龙”。
失去了吴湖帆这个重要客户和交易平台，就蒋穀孙来说，对生意上的影响应该是不小的。
但在他的同乡《张葱玉日记》中发现了他的一些行踪。
张珩和“好事家”谭敬等人都是当年古书画市场上一