La quadreria del Palazzo era formata da vari gruppi di opere accumulatisi nel corso del tempo. Al periodo della Repubblica risaliva il nucleo più antico costituito da quadri di pittori del manierismo toscano e pittori lucchesi del Seicento. Con la soppressione di molti enti religiosi fra 1808 e il 1809 confluirono nel Palazzo una grande quantità di opere di genere sacro e di varie epoche e stili che furono immagazzinate ma solo in minima parte utilizzate nell’arredo.
Carlo Ludovico di Borbone costituì una nuova raccolta ospitata nelle ultime due sale dell’appartamento della Regina. La collezione era formata da circa 150 dipinti con opere rastrellate sul territorio Lucchese (collezioni di famiglie lucchesi, da chiese e conventi) e da un grosso gruppo proveniente dalla collezione Albani. Infine alcune grandi tele contemporanee di pittori locali, commissionate dai Duchi, furono raggruppate nella sala degli Staffieri. La galleria fu messa in vendita dal Duca Carlo Ludovico fra il 1836 ed il 1844 a Londra, per fare fronte ai debiti che aveva accumulato. Il Duca si rifiutò di cederla in blocco agli intermediari della National Gallery e successivamente anche a quelli del Duca di Northunberland, che offriva quasi due milioni di Franchi .
I quadri furono venduti separatamente a prezzi irrisori, andarono dispersi e oggi sono solo in minima parte rintracciabili. Alla partenza da Lucca, Carlo Ludovico portò via con sé un nutrito numero di opere dei primi del ‘400 che aveva raccolto sempre dal territorio lucchese per ornare le cappelle ortodosse di Lucca e di Marlia. Nel 1848 Leopoldo II, Granduca di Toscana, divenuto sovrano di Lucca, volle riparare in qualche modo alla gravissima dispersione; fece trasferire nel Palazzo una selezionata scelta di tele provenienti dalla guardaroba delle Regie Ville e le rese immediatamente visibili aprendo al pubblico il Palazzo Ducale.
Nel periodo unitario questa raccolta assieme alle opere superstiti confluì nella nuova pinacoteca pubblica alloggiata nel Quartiere del Trono e inaugurata nel 1875. La pinacoteca fu trasferita un secolo dopo nell’attuale sede di Palazzo Mansi.