Villa Pitiana è situata a 430 m slm e la sua struttura imponente divide gli ultimi uliveti del Valdarno dagli alberi secolari della Foresta di Vallombrosa.
Il 3 luglio 1039 la badessa Itta del convento di S. Ellero donò i terreni di Vallombrosa a S. Giovanni Gualberto, ma per il sostentamento suo e dei suoi monaci dovette aggiungere un podere con orto e vigneto a Pitiana. A metà del XIII secolo la posizione strategica di Pitiana ne fece oggetto di contesa nelle lotte guelfo-ghibelline fiorentine.
La parte più antica di Villa Pitiana risale al XIV secolo ed è sicuramente una “casa da signore”, come venivano chiamati questi edifici fortificati, caratterizzati dalla presenza di un'alta torre non dissimile dalle case-torri di S. Gimignano. Nell'estate del 1483 Lorenzo il Magnifico de' Medici tentò invano di acquistare Villa Pitiana dal generale Biagio Milanesi.
Dal XV al XVII secolo l'agricoltura toscana conobbe uno dei suoi periodi più difficili. Il potere politico era ormai sotto il controllo di mercanti e banchieri e l'attività commerciale veniva sovvenzionata a scapito dell'agricoltura e le case-torri venivano sempre più frequentemente trasformate in ville private.
Pitiana subì un vasto restauro nel Rinascimento: nel 1610 fu aggiunta l'ala posteriore con la sua facciata a tre piani, come testimonia la data ancora visibile su una lapide. Dello stesso periodo è lo stemma tardo manierista con il bastone di S. Giovanni Gualberto e la mitra (simbolo della dignità vescovile dell'abate di Vallombrosa), tuttora visibile nel cortile maggiore di Pitiana.
Nel 1808 con l'annessione della Toscana all'Impero napoleonico, l'Abbazia di Vallombrosa fu soppressa e tutti i suoi possedimenti, compresa Pitiana, furono alienati a privati per rimpinguare le casse dello Stato. Il bosco di Vallombrosa, tuttavia, rimase demaniale.
Infine, Villa Pitiana passò in possesso dei Conti Grottanelli, come indicato ancora in alcune mappe meno recenti.
Alla fine dell’Ottocento la fattoria di Pitiana si trasforma definitivamente in villa e acquista la facciata monumentale, architettonicamente ancorata allo stile accademico di derivazione rinascimentale, influenzato dall'opera progettata e realizzata a Firenze da Giuseppe Poggi verso il 1865-70. La parte retrostante ha continuato fino a tempi recenti ad essere un'azienda agricola (Fattoria).
All'inizio del Novecento passava nei pressi di Villa Pitiana la ferrovia a cremagliera che collegava S. Ellero a Saltino. Una fermata del treno era proprio davanti a Villa Pitiana, dove era in funzione una piccola stazione.
Nel 1931 furono eseguiti altri lavori come riportato sul portale destro della hall. Si trattava probabilmente della conclusione dei lavori iniziati nel 1897 con il restauro delle parti medievali e la modifica degli interni.
