“华中铁道公司食堂”
    日本侵略军占领嘉兴后，烟雨楼除了大士阁被炮击毁外，其余仍较完好。不到一年，日本人即看中了这个风景幽美的名胜古迹，把整个烟雨楼强占为“华中铁道公司食堂”。名为食堂，实际上即是旅馆，接待日军来往官员。烟雨楼经过了日本人的整修，在原大土阁的废址上建造了一间厨房。菰云簃做了工作人员的卧室。菱香水榭和来许亭等内部，都改换了日本式的“塌塌迷”(日本草席)，席上放着矮几，那些所谓“日本上流人士”经常在此下围棋。除日本人外，中国人住宿的是那些汉奸和依附他们的高等华人，凭有日本权力机构介绍条住宿。如当年来嘉兴进行足球比赛的“上海电影足球队”就住在那里。
    “华中铁道公司食堂”每逢一次列车到嘉兴车站的时候就摇出了一条两头跷起的、象元宝式样的蓝色木船，停泊在铁路隧道边的熙春桥下，迎接旅客下船，载往烟雨楼住宿或游览。来往人员之中，穿着军装的大都是日本人，带着日本女人，招摇入湖。有时还要在南湖边上临时戒严，断绝交通。大好名胜成了侵略者消闲享乐之地。平时中国人也可去烟雨楼游玩，但要付一角“大日本军票”才能入内，至楼上供应便茶一碗。堤边备有小木艇十数艘，租给游客，每小时收军票二角。这个时期一般中国人很少有人前去游览，南湖可称得上“冷落一片波心”了。
    六月二十四日荷花生日这一天，历来烟雨楼很热闹，来往游客成群。但自从沦陷之后，却游人绝迹。日寇为了笼络人心，打听得烟雨楼原有雷祖大帝供奉，烧香拜菩萨的人很多，现在菩萨已被大炮炸掉了，于是命人把“韭溪禅院”里的雷祖神像迁到南湖中来。不过烟雨楼已没有地方安放，就修葺了小烟雨楼中的仓颉祠，作为供奉雷祖的地方。为了招徕游客，粉饰太平，到荷诞这一天就宣布烟雨楼全日开放不收军票，并在楼下演话剧，以示“日支亲善”。还雇了一批日本浪人到城中宣传发起雷祖神会。虽然日寇用尽心机，但是没有人前去“躬逢其盛”，弄得日本鬼子狼狈不堪。
    一九四五年八月十五日，嘉兴市民已得到了抗战胜利的消息。全城沸腾，爆竹之声，日以继夜不绝。国民党县政府也推进在南堰街办公。日本侵略军还没有接到投降的命令，仍据
守在小盐仓桥，作为和国民党县政府的交界处。之后中日双方接洽移交事务都在烟雨楼进行。日本无条件投降后，烟雨楼才回到了中国人手中。