La famiglia Zanardi era originaria della Valle Imagna nel bergamasco. Giunti a Venezia si arricchirono con il commercio al punto tale che nel 1653 Andrea Zanardi offrì centomila ducati alla Repubblica in occasione della cosidetta Guerra di Candia (Candia è l'attuale isola di Creta che fu dominio veneziano per oltre 400 anni prima dell'aggressione ottomana)  ottenendo per sé e i suoi nipoti il Patriziato Veneto.

Gli Zanardi abitarono il palazzo fino al 1757 quando fu venduto alla famiglia a Paolo Savorgnan. Nel 1873 il palazzo fu ceduto a Giovanni Enrico Heinzelmann che vi fece diversi lavori di ristrutturazione. 

Nel 1921 Ca' Zanardi viene acquistata da Angelo Colussi, della famiglia Colussi, produttori di biscotti. Qui, nel giardino del Palazzo, i Colussi organizzarono la loro prima bottega/laboratorio. Il primo passo di un gruppo dolciario oggi famoso in tutto il mondo.