发生之后没多久，这一天，倪瓒又乘船游览太湖，结果正好碰到了张士信。
正所谓冤家路窄，相见眼红。
张士信二话不说，让人将倪瓒的船拦下来，并将他拖出来暴打了一顿。
奇怪的是，人都被打了，倪瓒却是一言不发。
这事过后，有朋友碰见了倪瓒，便好奇地问他，为什么当初不解释一番？
倪瓒轻“哼”了一声，说道：
“一出声，便俗了。”
元至正二十三年（1363），其妻蒋氏病死，倪瓒受到很大的打击，长子早丧，次子不孝，生活越觉孤苦无依，内心烦恼苦闷，无所适从，只能将一番情绪付诸画笔。
事实上，倪瓒不只是在生活上有洁癖，不问政治的他，在思想上也是一如既往的爱洁成癖。
明初，朱元璋曾召倪瓒进京供职，他坚辞不赴。
明洪武五年（1372）五月二十七日（6月28日），倪瓒作《题彦真屋》诗云：“只傍清水不染尘”，表示不愿做官。
而且，他在画上题诗书款也只写甲子纪年，不用洪武纪年。
这一年，他在一个被称为焕伯的好友处，修养了数月，临离去之前，特意为他作了一幅《江亭山色图》，以作留念。
这幅画，秋林萧瑟，空亭寂寥，茫茫湖水一片，远处画平坡远岫，给人水阔天高、萧疏淡远之感。
事实上，到了晚期，倪瓒的画作最大的特点，就是素净、笔简、意远，没有一点烟火气，呈现出一片孤寂，孤寂得让人绝望。
明末清初著名书画家、常州画派的开山祖师，后来成为清六家之一的恽南田，他的花鸟活色生香，可是他最欣赏倪瓒的“真寂寞”之境，他说倪瓒的画“真寂寞之境，再着一点便俗”。
他的“真寂寞”，让他画里，没有一个活物，就好像洗过无数遍的那个歌姬一样，干干净净。
明洪武七年（1374），倪瓒中秋之夜身染脾疾，自此一病不起，于阴历十一月十一日（12月14日）与世长辞，享年74岁。
向南缓缓睁开眼，面前依旧是那幅破烂不堪的《江亭山色图》，如今也已经被清洗得干干净净，画面之上，虫洞虽多，可那种淡泊宁远、孤单寂寥的意境，隐约间，扑面而来。
也不知道，这个在生活上爱洁成癖，清高孤傲到“只伴清水不染尘”，连画作也是干干净净，不见一个人影的倪瓒，在另一个世界里，还能否继续保持这种干净的灵魂？