Inaugurato nel 1881, il museo è stato creato dal nobile milanese Gian Giacomo Poldi Pezzoli (1822-1879), che ha donato le proprie preziose collezioni di dipinti, sculture e arti applicate per dare a tutti la possibilità di goderne. Questo era il suo appartamento che, nonostante i bombardamenti del 1943, ha mantenuto il fascino di una dimora ottocentesca.