Palazzo Altoviti sorgeva sulla Piazza di Ponte, verso l'odierno Lungotevere degli Altoviti, la cui apertura contestualmente all'edificazione dei muraglioni lungo il fiume, ne causò l'inevitabile demolizione nel 1888.

​

Gli Altoviti erano una illustre famiglia fiorentina che, trasferitasi a Roma nei primi del '500, aprirono con Antonio Altoviti un banco nel Rione Ponte acquistando alcune casette (una delle quali munita di torre).

Il figlio Bindo ampliò in seguito la dimora paterna e, demolendo alcuni edifici adiacenti, vi ricavò uno slargo antistante che prendeva il nome di Piazzetta degli Altoviti.

Un'iscrizione latina all'interno dell'edificio ricordava infatti che:

​

"Bindo figlio di Antonio Altoviti nobile banchiere fiorentino restaurò la casa acquistata da suo padre nel 1514 regnando Leone X pontefice Massimo, nel primo anno del suo pontificato"

​

Oltre ad essere uno dei personaggio più in vista del suo tempo nel mondo romano, Altoviti protesse gli artisti e fu amico di Raffaello, di Michelangelo, del Cellini che ne scolpì il busto e del Vasari che egli stesso presentò al Cardinale Alessandro Farnese. Lo studio di Bindo era stato affrescato dal Vasari e sulla facciata Francesco Salviati aveva dipinto nel 1543 lo stemma di Paolo III.

​

Il palazzo divenne in seguito sede del Consolato di Toscana e il console, quando si recava in corteo a San Giovanni dei Fiorentini, veniva salutato da un salve di colpi di cannone sparati da Castel Sant'Angelo.

​

Nel 1751 vi nacque Ennio Quirino Visconti.

​

La facciata su Piazza di Ponte fu completata tra il 1550 ed il 1580: aveva due portoni arcuati e bugnati, un primo piano di finestre architravate, un secondo di finestrelle rettangolari e culminava in una loggia. Sull'angolo vi era l'arme marmorea della famiglia.

​

Verso il Tevere la facciata giungeva al greto del fiume. Vi erano tracce di decorazione graffita simulante blocchetti di tufo. L'elemento cardine era la loggia a colonne, tradizionalmente attribuita a Raffaello ed affrescata dal Vasari, dalla quale dopo il '70 più volte i sovrani assistettero alla Girandola di Castel Sant'Angelo.

​

Gli affreschi vasariani sono stati distaccati e si conservano oggi nel Museo di Palazzo Venezia, nella Sala degli Altoviti.