烟雨楼三字的初见
南宋建炎三年(1129)初，金兵南侵，宋高宗赵构等人，从扬州仓皇渡江逃往临安。十一月，金兀术完颜宗弼领兵十万，分两路渡江，长驱直下，于建炎四年(1130)侵犯嘉兴。《宋史》载：“建炎四年二月丙子，金人自明州引兵还临安。丙戊自临安退兵。辛卯陷秀州。”金兵的入侵使嘉兴遭到蹂躏，城外房屋大部分被毁。钱元璙遗留下来的台榭园林也在这次浩劫中毁掉。此后约七八十年里，没有见到有关的历史记载。
钱氏遗址，据《嘉兴图记》载：“嘉定间，吏部尚书王希吕致政归，因旧址建楼。”据《宋史·王希吕传》：王希吕“居官清廉，至无屋可庐。由绍兴归，有终焉之意，然犹寓僧寺。上闻之，赐钱造第。”这座房子的位置，根据李培《秀水县志》载：“在西河上。”但从《宋史》的记载看来，王希吕不可能另建一座别墅以供游乐。因此所谓“因址建楼”大概是王希吕在钱元璙台榭旧址的基础上，建造一所楼屋，略加修饰，取烟雨为楼名，以度晚
年。而后来豪华富丽的烟雨楼，当在其后辈相继建成。
烟雨楼的名称，历史上最先见到的记载是元代至元间撰的《嘉禾志》，志书中载有宋吴潜作的一首水调歌头词“题烟雨楼”，全词曰：
有客抱幽独，高立万人头。东湖千顷烟雨，占断几春秋。自有茂林修竹，不用买花沽酒，此乐若为酬。秋到天空阔，浩气与云浮。 叹吾曹，缘五斗，尚迟留。练江亭下长忆闲了钓鱼舟。矧更飘摇身世，又更奔腾岁月，辛苦复何求。咫尺桃源隔，他日拟重游。
吴潜在宋绍定二年(1229)曾和著名词人姜夔在嘉兴会见。他在《暗香、疏影词》的词序中说：“犹记巳卯庚辰之间，初识尧章于维扬，至巳丑嘉兴再会。”这首题烟雨楼词，大概也是这年在嘉兴所作。可知在这个时期，王氏烟雨楼已闻名于世了。