鲁王朱以海病死后，张煌言认为反清大势已去，将部队解散，逃到浙江象山附近的小岛上。不久被清军发现抓捕，押解到在杭州处斩。其妻与长子则在至镇江被处斩。

宁波鄞县人万斯大等人，将其收葬于杭州西湖南屏山。应了他“国破家亡欲何之？西子湖头有我师。日月双悬于氏墓，乾坤半壁岳家祠。”之诗，以身殉国，并为西湖三杰。

乾隆四十一年（1776），清廷为其张煌言追谥忠烈，并收入《钦定胜朝殉节诸臣录》。

两百多年后，辛亥革命之时，章太炎倍加推崇张煌言，大力疾呼：“愿吾越人，无忘张煌言”，视张为中国近代革命的先行者。章太炎死后，遗愿葬于张之墓旁。