杨 苗 之 乱
元朝末年，统治者只知享乐腐化，欺压人民，社会上怨声载道，阶级矛盾和民族矛盾已经发展到激化的地步。“开河变钞”的实行，人民再也承受不住这种残酷剥削和压迫的痛苦，终于爆发了全国农民起义。张士诚在江苏泰州起义，进兵南下。至正十七年(1357)，张士诚命张士信领水兵数万，从苏州出兵进攻嘉兴，被元朝守将杨完击败，义军死者甚众。《明史》载：“张士诚得平江，即以兵攻嘉兴，守将苗帅杨完者，数败其兵。”《乐郊私语》一书中对此记载比较详细：“至正十七年八月，张氏以水师数万来攻嘉兴。羽檄星驰，水陆戒严。海盐自州佐巡场以下，皆统兵北屯。半逻新丰，广薪以备，州城闭塞兼旬。民间米谷骤踊，薪焚不继，多破斫橹柱几榻而炊。杨完者以大军四伏，使小舟数十百艘饵之。敌樯橹蔽天，排川而下。退至杉青，东西两岸多积苇以待。时南风大作，岸上举火，敌舟焚燎于四十里不止，死者甚众。遂舍舟登陆逼城下，战于冬瓜堰，大破之，斩首万七千级，俘者数千。张氏统军张士信，以伏水遁还。”虽然张士诚军队没有攻破嘉兴，但元守将杨完，却乘镇压农民起义之际，杀人放火、奸淫虏掠，无所不为，城外民房几乎烧毁殆尽。《乐郊私语》又云：“然完者凶肆，掠人货钱。至贵家，命妇室女见之，则必围宅勒取，淫污信宿，始得纵还。少与相柜则为通敌，纵兵屠害。由是部曲骄横，凡屯壁之所，家户无得免焉。”高氏园烟雨楼离城近在咫尺之间，也在这次战乱中被元兵烧毁。正如吴永芳在《嘉兴府志》中说“烟雨楼毁于元季杨苗之乱”。
高氏园的遗址，即从熙春桥到盐仓桥一带的地方，现在把这里叫做高家湾。司能任《嘉兴县志》说：“高家湾在县南二里，民廛啮比而居。市楼水阁，依趁南湖，势弯如月。至于晓烟苍翠，窗火摇星，倒映波光，最宜推蓬写望，即滮湖之环抱也。”明清以来数百年间，高家湾一带逐渐形成了百姓的居住点。高氏园和烟雨楼的遗址，也就此湮没，无迹可寻了。
关于烟雨楼、柳氏园和宣公书院的地址，有人认为在同一处。如司能任在《嘉兴县志》中说：宋时烟雨楼，后来成了柳氏园，到元朝又在原址上建造宣公书院。这是沿着旧志中的错误造成的。旧志说柳氏园中有会景亭，《嘉兴百咏》明人附考中又说“潘尚书园中有烟雨楼”。而会景亭是潘尚书园中的一个著名景点，这二者相联，便造成了烟雨楼、会景亭、宣公书院在同一处的错误。其实这“错误”在吴永芳的《嘉兴府志》中已经讲明，司能任没有注意到这一点，给后人影响极大。
又考宣公书院亦称陆宣公祠，并非在烟雨楼旧址上建造，
而在宋代已两者并存。宋叶隆礼的《烟雨楼》诗云：
傍家池馆占湖东，寂寞为邻只陆公。
竹树一堤如有碍，乾坤万象自无穷。
棹歌远入秋波绿，塔影中分晚照红。
樽酒待游烟雨界，画图著我笠蓑翁。
宣公书院在元至正十五年(1355)移建在柳氏园旧址上，没到二年，就遭到了杨苗之乱和烟雨楼同时被毁。