A múzeumot a maga idejében Európa legkorszerűbb képtárának mondták, bár a tervezés fő szempontja inkább reprezentatív terek kialakítása, mint műtárgyak bemutatása volt. 115 éve, 1900. augusztus 1-jén kezdődött meg a Szépművészeti Múzeum építése.
A legnagyobb magyar művészeti gyűjtemény a Nemzeti Múzeum Képtárán és az Országos Képtáron alapul. (Ezek anyaga Pyrker János egri érsek gyűjteményéből, az állam által megvett Esterházy-képtárból, az 1872-ben Ipolyi Arnoldtól kapott képekből és a bécsi császári gyűjtemény 1772-ben Pozsonyba, majd Budára került, s Kossuth által köztulajdonba vett festményeiből állt.) A gyűjtemények összevonását az Országos Képtárat gyarapító Pulszky Károly javasolta, aki a teljes európai festészet bemutatását tervezte.
A gyűjtemények egyesítését végül a millennium idején, az 1896. évi VIII. tc. írta elő, amely a múzeum létesítésére 3,2 millió forintot irányzott elő (a költségek végül 4,2 millió forintra rúgtak). A 12 ezer négyzetméteres telket, ahol korábban a Feszty-körkép bemutatására épült Rotunda pavilon állt, a főváros ingyen adta. Az épületre 1898-ban kiírt pályázatot ugyan Petz Samu nyerte, a munkálatok két évvel később mégis a második helyezett Schickedanz Albert és Hercog Fülöp Ferenc tervei alapján kezdődtek, mivel ők a főbejáratot a Hősök terére helyezték.
„Még az 1894-ik évben elhatározta a kormány, hogy hazánk ezredéves fennállásának ünnepére a szépművészetek számára múzeumot építtet. E múzeumban egyesítve lennének az Akadémia helyiségeiben őrzött Eszterházy-féle képtár, a nemzeti múzeum modern és régi képgyűjteménye a szoborművekkel és az egyéb helyeken őrzött építészeti műtárgyakkal együtt. (…) Az új szépművészeti múzeum helyéül a pályázati föltétel a városligetnek ama részét jelölte meg, mely a Feszty-féle körkép-társaság épülete és az Aréna-út között nyúlik el az állatkert kerítéséig. (…) Schikedanz és Herzog terve alkalmazkodik az Andrássy-út torkolatán megkívánható szimmetrikus elhelyezéshez. Az e helyen álló új műcsarnok alkotói e végből egy nyolcz oszlopból álló homlokzatos épületet terveznek az új műcsarnok méretében és arányaiban egészen hasonlóan ehhez. Két oldalán megtoldják két csarnokszerű szárnyépítménynyel, melyeknek az antik stilus megkívánta tympanonszerű csúcsos végződésű homlokzatuk van. Az előnyúló főhomlokzat épületcsoportját összekötötték a tervezők a nagy méretű főépület tömegével, a mely egy magas egy-emeletes épületből áll. A főhomlokzat oszlopcsarnokán áthaladva, a szoborcsarnok számára épült óriási terembe lépünk” (Forrás: Vasárnapi Ujság 46. évf. 13. sz. (1899. március 26.))
Az épületegyüttest 1900 és 1906 között emelték, először a neoreneszánsz képtárszárny, utána a neoklasszicista előépület készült el. Az építkezést a történész Kammerer Ernő irányította, aki 1901 és 1914 között az intézmény első igazgatója is volt.
A múzeumot 1906. december 1-jén adták át (mivel Ferenc József éppen akkor ért rá), és december 6-án nyitották meg a közönség előtt. A Szépművészeti Múzeummal lett teljes az impozáns Hősök tere, ahová Schickedanzék tervezték a Műcsarnokot és a Millenniumi emlékművet is.
A múzeumot a maga idejében Európa legkorszerűbb képtárának mondták, bár a tervezés fő szempontja inkább reprezentatív terek kialakítása, mint műtárgyak bemutatása volt. A bécsi császári és királyi gyűjteményekből csupán kevés mű jutott ide: 1848-ban, Kossuth Lajos rendeletére a budai kamaraelnöki lakást díszítő darabokból köztulajdonba vett festmények között volt például Dürer Férfíképmása. A magyar főúri gyűjtemények közül a legjelentősebb az Esterházy-gyűjtemény volt, amelyet 1870-71-ben vásárolt meg a magyar állam. Ez a kollekció alapozta meg az Országos Képtárat, a Szépművészeti Múzeum közvetlen elődjét. Az Esterházyaktól származó rajzok és festmények között voltak Leonardo, Raffaello, Correggio, Rembrandt és Tiepolo művei, több száz holland és flamand kép, valamint jónéhány kiemelkedő spanyol festmény: Ribera, Murillo, Goya alkotásai.
Az első nagyobb állománybővítés Paul Arndt müncheni régész 135 márvány- és 650 terrakotta szobrának megvásárlása volt, 1908-ban és 1913-ban. 1912-ben Pálffy János gróf hagyatéka, Nemes Marcell ajándékai, majd a letétbe helyezett Hatvany- és Herzog-kollekciók gazdagították a múzeumot. A grafikák zöme, Leonardo, Dürer, Rembrandt, Rubens és Goya művei, az Esterházy-gyűjteményből származnak. Jelentős a múzeum francia impresszionista gyűjteménye is.
Petrovics Elek 1914-35 közti igazgatása alatt a múzeumot többször átépítették, mert az állomány jelentősen gyarapodott. A második világháborúban az épület megsérült, a gyűjtemény egy része szakszerű csomagolás nélkül Németországba került. Az elhurcolt műkincsek jórészt visszakerültek, de a sérült művek restaurálása évekig tartott.
A háború utáni első kiállítást 1946-ban szervezték. Az ötvenes években a Ráth György-gyűjteménnyel és a Zichy-képtárral bővült a múzeum. A gyűjtemény 1957-re már kinőtte az épületet, ezért a Fővárosi Képtár és a Szépművészeti Múzeum magyar anyagából létrehozták a Magyar Nemzeti Galériát. A Szépművészeti Múzeumban a külföldi alkotások mellett a régi magyar osztály anyaga maradt, a múzeum osztályai: az Egyiptomi, a Görög-Római, a Régi Képtár, a Régi Szoborgyűjtemény, a Grafikai és a Modern gyűjtemény.
A múzeumban számos nagy sikerű, tömegeket vonzó kiállítást láthatott az érdeklődő közönség. 2011-ben – a Városligetben megvalósuló múzeumi negyedhez kötődően – kormányhatározatban rendelkeztek a Szépművészeti Múzeum és a Magyar Nemzeti Galéria egyesítéséről (az MNG beolvadása révén), amelyre 2012 szeptemberében kerülhetett sor.
2015 februárjában – az óriási sikert aratott Rembrandt-kiállítás után – a múzeumot bezárták, és megkezdődött a 2018-ig tartó felújítása. A Szépművészeti szünetelése idején a múzeum a Nemzeti Galériában rendez majd időszaki kiállításokat.
