La Scuola di Santa Maria della Carità fu fondata nel 1260 e fu la prima, tra le Scuole, ad avere l'appellativo di "grande". 

La Scuola venne istituita nella Chiesa di San Leonardo, nel sestiere di Canareggio. L'edificio è tuttora esistente anche se sconsacrato dai Francesi e spogliato degli arredi interni. Dopo essere stato un deposito di carbone è oggi una sala polivalente. Ma questa fu la prima sede della Scuola a partire dal 6 novembre 1260.
Per questo motivo, fino alla soppressione della Scuola nel 1806 sempre da parte dei Francesi, vi era la tradizione di recarsi in processione tutti gli anni, il 6 novembre, alla chiesa di San Leonardo. 

I confratelli avevano eretto un oratorio intitolato a San Giacomo Maggiore alla Giudecca. L'oratorio venne poi ceduto ai padri serviti che poterono così ampliare la Chiesa di Santa Maria Novella quando, finalmente, la Scuola si trasferì alla Chiesa della Carità. I confratelli erano riusciti ad ottenere una stanza vicino alla porta di entrata del monastero della Carità. 

Documenti provano i rapporti tra Scuola, Monastero e Chiesa: nel 1261 i confratelli acquistano un area per seppellire i confratelli, nel 1287 un altra area e nel 1294 la Scuola ottiene il permesso di edificare un'altra stanza, sempre all'interno del monastero. 

Nel 1344 acquistarono un'area confinante con il monastero in modo da poter costruire la propria sede a cui si accedeva, sempre, dalla stessa porta del convento. La Scuola vedeva crescere le proprie ricchezze grazie soprattutto ai lasciti testamentari. Nel 1384 veniva concesso alla Scuola di edificare la sala dell'albergo, al piano primo, sopra la porta di accesso al convento e nel 1411 di ampliarne le dimensioni, sempre in cambio di elargizioni ai monaci. 

Nel 1442, in accordo con la Scuola, si amplierà la chiesa e le due facciate verranno congiunte con il prospetto ad angolo che per molti secoli caratterizzerà questo campo della città, rappresentato, ad esempio, dal Carlevarijs qui di seguito:
 

L'edificio della Scuola rimase pressoché invariato fino al 1756 anno in cui venne messa in opera la facciata marmorea progettata dal Massari. Una facciata imponente e moderna caratterizzata, finalmente, da un ingresso centrale adibito solo alla Scuola. Non è esattamente quella che vediamo oggi perché, nell'800, è stata modificata togliendo il timpano superiore, togliendo la statua decorativa e squadrando le due finestre arcuate. 

L'ingresso, però, rimase impraticabile fino al 1766 quando si decise di scegliere il progetto del Maccaruzzi per edificare una nuova scala divisa in due rampe che potesse sostituire la vecchia scala che impediva l'accesso.

Nel giro di pochi mesi il progetto venne portato a termine realizzando le due rampe che ancora oggi si percorrono, in pietra d'Istria. Alla stessa data risalgono i pavimenti dei pianerottoli e della sala capitolare.

Con l'arrivo di Napoleone a Venezia, come è noto, vennero chiusi moltissimi palazzi pubblici, abolite le associazioni e le scuole, centosettantasei edifici di culto (Chiese e conventi) vennero chiusi e molti vennero depredati e demoliti.

Gli oggetti d'arte che ne provenivano e che sfuggirono a vendite, spoliazioni e dispersioni, dovevano trovare una collocazione che ne salvaguardasse l'esistenza. 

Con decreto del 10 Settembre 1803 gli occupanti stabilirono che a Venezia dovesse esserci una pinacoteca "destinata al comodo di chi si esercita a dipingere". Nasce la pinacoteca dell'Accademia. 

A tal fine vengono destinati una serie di edifici: il convento dei Canonici Lateranensi, la Chiesa della Carità e la Scuola della Carità che subiranno pesanti trasformazioni. 

Le perplessità furono moltissime così come le obiezioni che si levarono contro la proposta che avrebbe sconvolto questi edifici ma la decisione dell'occupante fu considerata irrevocabile ed iniziò la ristrutturazione condotta da Giannantonio Selva di cui abbiamo già parlato:

leggi anche: La perdita della Chiesa della Carità

A sovrintendere la raccolta dei dipinti che provenivano da ogni parte di Venezia fu nominato Pietro Edwards che prestò opera sia sotto il governo francese che sotto quello austriaco. Competente e preparato Edwards potè fare ben poco per impedire la spoliazione di dipinti da parte di Napoleone e dei suoi fedelissimi. 

Molte opere importanti finirono in Francia e nella pinacoteca di Brera, a Milano, Alcune opere tornarono a Venezia, come lo straordinario Convito di casa Levi del Veronese.

Successive acquisizioni e scambi permisero, negli anni, di trasformare il patrimonio artistico dell'Accademia in quello che oggi possiamo vedere e cioè nella raccolta di pitture venete dal Trecento al Settecento. 

Questa era la sala in cui si riuniva il Capitolo della Scuola Grande della Carità, una delle Scuole Grandi di Venezia. 

Il soffitto, eseguito tra il 1461 ed il 1484 dal vicentino Marco Cozzi - confratello della Scuola - e costituito da riquadri con decorazioni a foglie d'acanto e testine di angeli con otto ali, dai volti tutti differenti. 

Il pavimento a marmi policromi intarsiati di gusto barocco fa parte della ristrutturazione settecentesca della Scuola condotta da Giorgio Massari e da Bernardino Macaruzzi che demolirono anche l'antica scala progettando le rampe gemelle che ancora oggi permettono l'accesso alla sala capitolare. (1766 circa). 

La Scuola della Carità subì una pesantissima ristrutturazione quando, con le soppressioni Napoleoniche, fu adibita in Accademia: venne smontato l'altare di fondo, furono chiuse le finestre per aumentare la superficie espositiva e vennero sostituiti i dipinti originari con le opere che dovevano costituire la nuova pinacoteca. 

Una successiva ristrutturazione avvenne nel 1950 a cura di Carlo Scarpa che ripristinò l'apertura delle finestre, recuperò alle pareti i frammenti della decorazione tardo trecentesca e sistemò le tavole a fondo oro sui pannelli lignei con basi in ferro che ancora oggi sostengono le pitture. Scarpa intervenne anche sulle porte di ingresso all'accademia, le famose bussole. Con Scarpa si cercò anche di dare un più logico percorso cronologico all'interno del Museo, riorganizzando la distribuzione delle opere nelle varie sale. 

Un terzo intervento occorse nel 2004 quando si decise di effettuare una manutenzione straordinaria sia sulle opere della sala capitolare che sugli espositori progettati da Scarpa. 

In epoca più recente, con il trasferimento dell'Accademia delle Belle Arti, gli spazi nella ex Chiesa della Carità occupati dagli studenti divennero, finalmente, parte del percorso della pinacoteca che, comunque, soffre tuttora di mancanza di spazio.