Il Palazzo fu fatto costruire dal Cardinale Borromeo fra il 1562 e il 1563 su progetto dell'architetto Antonio Morandi detto il Terribilia come sede per le scuole dello Studio Universitario (Diritto e Arti). Fino al 1803 fu sede dell'Università e dal 1838 ospita la Biblioteca Civica. Il palazzo fu gravemente danneggiato da un bombardamento nel 1944 e ricostruito successivamente. Il prospetto principale presenta un portico di 30 arcate e si articola su due piani intorno a un cortile centrale. Due ampi scaloni conducono al piano superiore che presenta aule scolastiche (oggi non visitabili) e due aule magne una per gli Artisti (oggi sala di Lettura) e una per i Legisti (detta Sala dello Stabat Mater). Le pareti delle sale, le volte degli scaloni e dei loggiati sono decorate da iscrizioni e monumenti celebrativi dei maestri dello Studio e da migliaia di stemmi e nomi di studenti. Di fronte all'ingresso si trova la cappella di S. Maria dei Bulgari. Il Teatro Anatomico in legno intagliato, fu costruito da Antonio Levante nel 1637 per l'insegnamento dell'anatomia. Al suo interno si trovano le famose statue degli Spellati di Ercole Lelli.