La storia della Villa si collega per secoli all’antica famiglia degli Altoviti, una tra le più antiche famiglie nobili fiorentine. Le origini della famiglia sono incerte e oggetto di controversie tra gli studiosi: in scavi sul Monte Fiesole è stata trovata anche un’epigrafe romana dove si cita un “Furio Cammillo Altovita” nipote di Furio Cammillo, per cui si ipotizza addirittura un’origine romana.
Se ci basiamo sullo stemma - il lupo scorticato che compare su uno dei camini del piano terreno della Villa - le prime tracce sono della fine del secolo X e ci permettono di risalire a un certo Longobardo di Corbizzo, che nel 1192 abitava in Borgo Santi Apostoli in Firenze e aveva sette figli, tra i quali uno si chiamava Altovita. Quest’ultimo potrebbe essere il capostipite della casata e venne nominato Cavaliere dall’imperatore Federico II, forse proprio con l’impresa del lupo che simboleggiava i capitani arditi.
Il frate domenicano Jacopo Altoviti fu vescovo di Fiesole nel tardo 1300 e si rese protagonista di tutta una serie di costruzioni e ampliamenti (al palazzo Vescovile, al Duomo e al Convento di San Domenico), per cui è facile vedere tuttora il caratteristico stemma Altoviti su questi monumenti e anche in altri più piccoli oratori e cappelle. Un suo discendente Neri Altoviti fu vescovo e fondò nel 1637 il Seminario vescovile di Fiesole. A Firenze avevano molte case nella zona di Borgo Santi Apostoli e detennero il patronato della vicina chiesa dei Santi Apostoli.
La Famiglia