Eretto sul colle di S. Lorenzo, come residenza-fortezza dei pontefici, portò grandi vantaggi alla città di Viterbo, orgogliosa di essere diventata centro e sede del cattolicesimo.
Dal cronista D'Andrea si apprende che la costruzione del palazzo, di stile romanico, cominciò nel 1255; nel 1266 il palazzo fu ultimato e nell'anno seguente si completò anche la loggia, di stile gotico.
La facciata, preceduta da un'ampia scalinata e sormontata da merlature, si apre con sei bifore unite da una cornice in risalto. La prospettiva è completata dalla splendida loggia che appoggia su un voltone, sorretto da un presunto pilastro che altri non è che una cisterna che porta l'acqua alla fontana sovrastante.
La loggia è definita, in un solo lato, da sette archi sorretti da esili colonnine binate che si intrecciano formando una elegante trabeazione; all'interno si apre il salone del Conclave e diversi ambienti utilizzati, ad oggi, per conferenze e mostre.

La sala del Conclave è un ambiente molto luminoso grazie alla presenza di dodici bifore a tutto sesto sormontate da piccole monofore rettangolari, che presentano una forte strombatura.
La fontana risale alla seconda metà del XV sec. ed è stata realizzata con materiale di spoglio di varie epoche; le specchiature della vasca portano gli stemmi della famiglia Gatti, del cardinale Raffaele Riario, di Sisto IV della Rovere e del vescovo Francesco Maria Settala.
Il Palazzo fu sede di importanti elezioni papali, tra cui quella del 1298-1271 in seguito alla morte di Clemente IV: dopo 33 mesi di sede vacante, la più lunga nella storia della Chiesa, venne eletto Tebaldo Visconti, con il nome di Gregorio X. Le cronache raccontano e documentano che i viterbesi, stanchi per la lunga attesa, e con lo scopo di accelerare l'elezione del pontefice, rinchiusero i cardinali cum clave e poi scoperchiarono il tetto del Palazzo.