倭 寇 之 乱
    嘉靖三十二年(1553)汉奸汪直、徐海等，勾结日本海盗率领战船数百艘，在浙江沿海地区登陆掳掠，杀人越货，无恶不作，人称倭寇。嘉靖三十三年(1554)，倭寇徐海、陈东、麻叶等，拥寇二万余人，从乍浦等海口登陆，进攻平湖。由于平湖防御甚严，倭寇失利，遂沿平湖塘和海盐塘二路进兵，企图攻取嘉兴府城。嘉兴府城兵力较强，防守更严，倭寇又一次战败，在城外大肆掳掠后，合兵侵犯桐乡。总督胡宗宪乘胜出兵作战，逼使倭寇退守乍浦。嘉兴城内虽然没有被倭寇侵入，城外却被倭寇大肆蹂躏后“数万家仅存余烬”(《天启嘉兴县志》)。当时李奎写下《嘉兴遇寇诗》以记当年情景，诗曰：“范蠡湖南怅夕晖，孤城初芜百重围。天星渚上春解芜，烟雨楼中燕子飞。岁月渐衰丘壑鬃，风尘不附芰荷衣。愁看白骨郊原遍，咫尺西湖阻未归。”
    倭寇侵犯嘉兴，烟雨楼位在滮湖的中央，虽然“城外数万家仅存余烬”，但她却奇迹般地保留下来。不过这里需要稍加说明的是，烟雨楼自建造到侯寇侵犯嘉兴，不到五年时间，虽未遭兵火，但却也已损坏不堪。由于经济凋蔽，民不聊生，烟雨楼在这时期大概还没有专职的管理人员。嘉靖末年，烟雨楼被地方一些无赖流氓所霸占，弄神作鬼，作为敛钱勾当的场所。何志《嘉兴县志》载：“何源字仲深，号心泉，江西会昌人，嘉靖己未进士。为嘉兴令，有妖神祠烟雨楼，赛会无虚日。源立仆而笞之，妖遂息。”范言《何侯政略记》书中也说及此事：“俗有鬼祠，以一总管者，旌旗鼓吹，喧夜塞途，牲醴舟楫，往来辐辏。虽缙绅章缝之土，辍相附和。大夫日：此圣世之弊俗也。竟毁其像，召师祝杖而遣之。”
    隆庆五年(1571)浙江兵备道沈奎来嘉兴视察，见烟雨楼已破损不堪，将有塌坍的危险，为之重行修建，并在大楼南面筑了一座石台。沈奎在重修烟雨楼后，写了一篇《烟雨楼赋》，在“赋”中略述了扩建烟雨楼园林的经过，所谓“复辟旧垣筑层台于其上”，大约修建后的烟雨楼比原先要高出了许多，更利于游者登高“极目纵游，浩然远适”了。然而这样的“乃弥月而垂成”的匆匆忙忙的修建工程并不彻底，因此下一次的“重修”很快就逼近了。