太平军之役
    道光三十年(1850)我国爆发了历史上规模最大的农民起义——太平天国。在洪秀全的领导下，从广西省金田村起兵，下湖南、湖北，直达江苏、浙江，一路上势如破竹，清兵望风逃窜，节节败退；贫苦百姓纷纷响应，起义队伍日益壮大。咸丰十年四月二十六日(1860年6月15日)太平军攻破了嘉兴。这次战役相当激烈，陈枝万在《老鳏自述》中写道：“郡城陷，一时人如蜂拥，纷纷下乡，遍野哭声震地，彻夜火光烛天。”太平军击败清兵进城之后纪律十分严明，沈梓在《避寇日记》中说到太平军和老百姓之间的关系是“军民往来如水之平”。但因为是战争，烟雨楼在这个时期未能幸免，被夷成了平地。情景和顺治二年(1645)被毁时相同，是人为的拆除而并非是火焚，因为在大楼前后的几棵大树并没有被火烧过的痕迹。从当时的情况推测，烟雨楼被拆毁有下列几个因素：
    一、建筑土城 太平军占领嘉兴后，在城四郊建筑土城，防御清兵反攻。如甪里街上焚余的房子，大部分用于修筑土城。
    二、建造听王府 太平天国嘉兴守将听王陈炳文，将旧府衙门改建听王府，一时大兴土木，寺观道院，尽被拆掉用于建听王府。
    三、增设炮台 同治二年(1863)清兵发起反攻，太平军嘉兴守将荣王廖发寿，在四城门添设炮台和土垒准备守御，也拆去了不少民房作工事用。
    四、清兵拆卖 同治三年二月十八日(1864年3月25日)太平军退出了嘉兴，清兵守将刘秉璋驻兵在城里，当时城中房屋还存有十分之三，居民胆小者不敢迁回，都被清兵占据。倘然主人回城居住，清兵就要索取“免担扫”，否则即被拆去变卖。刘秉璋知道也不加管束，故嘉兴人都叫他做“刘拆屋”。
    从这四个因素来看，被清兵拆卖可能性最大，因为烟雨楼如被太平军拆毁，那末以镇压太平军有功而出任嘉兴知府的许瑶光，在他所撰的《嘉兴府志》中，一定要大写特写了。事实上并不如此，在《府志》中只写了“咸丰十年兵毁”的一句含糊的话。
    另外，嘉兴太平军失败的前夕，在烟雨楼湖对面的盐仓桥一带与清兵进行了一场时达二十多天的激烈战斗，烟雨楼也可能在这次战火中被毁。同治三年(1864)，清兵和太平军在甪
里街争夺土垒展开战斗。李鸿章在《李文忠公奏稿》里说：“东路吴泾桥，贼于桥西筑大石垒一座。池北土垒一座。又北合欢桥边新筑一垒，背临大湖，东塔边一垒直相犄角。是日刘秉璋、潘鼎新令黄仕林、吴长庆各勇一拥而上，当将大石垒攻克……东塔边之贼亦即弃垒狂奔，追杀直至东门……追至东南角盐仓桥……”又云：“二十四日刘秉璋、潘鼎新又督军攻陷东南角盐仓桥贼垒三座。”《东华续录》也说：“二月十二日李鸿章奏称嘉兴贼粮最足，志在死守。程学启、刘秉璋、潘鼎新等攻东北门外及东南角盐仓桥贼垒多座，连日苦战，斩首颇多，诸军直抵城根。”十八日嘉兴城被攻破，在禾的太平军失败了。
    虽然史料上没有明确记载烟雨楼被毁的经过，但是经过了四年的战乱，存在了一百八十年的烟雨楼，终于不能幸免于战火的浩劫了。