Knjižnica je bila eden izmed oddelkov muzeja že ob ustanovitvi leta 1821. Ker je bil muzej tedaj kompleksnega značaja – močno so bile zastopane naravoslovne znanosti – starejše publikacije v muzejski knjižnici niso le s področja humanističnih in družboslovnih ved, ampak je ta del fonda prav tako pomemben za raziskovanje zgodovine naravoslovnih znanosti.
Ob tem je treba poudariti še eno značilnost. Muzejska dejavnost in skrb za ohranjanje dediščine sta se v 20. stoletju v Sloveniji razmahnili, nastala je potreba po ustanavljanju specialnih muzejev. Iz dela fondov takratnega Narodnega muzeja je leta 1923 nastal Slovenski etnografski muzej, leta 1944 pa Prirodoslovni muzej Slovenije. Ob teh delitvah niso posegali v fonde knjižnice, edina delitev, ki je nekoliko okrnila knjižnično zbirko, je bila ob osamosvojitvi današnjega Arhiva Republike Slovenije (1926), v resnici pa so jo izvedli šele tri desetletja kasneje, ko je ta ustanova dobila prostore v Gruberjevi palači.
V tiskanem razglasu An die vaterländischen Freunde der Wissenschaften, ki so ga izdali Deželni stanovi leta 1823, je zapisano, da muzej zbira tudi vsa tiskana in rokopisna dela s področij nacionalne kulture, domačega zgodovinopisja ter arhivalije. Tako je začela nastajati pomembna zbirka tiskanih dokumentov o Kranjski. Leta 1836 je bilo v knjižnici že 1292 knjig in 356 zvezkov periodičnega tiska. Za nadaljnjo rast fonda so bili pomembni darovi posameznikov, ustanov in društev. Tako so tu danes shranjene knjige iz pomembnih kranjskih zasebnih (npr. barona Jožefa Kalasanca Erberga iz Dola pri Ljubljani, Anastasiusa Grüna – psevdonim za Antona Auersperga, Karla Dežmana in Miroslava Premruja) in društvenih knjižnic (Historično in Muzejsko društvo za Kranjsko). Način pridobivanja publikacij je bila vseskozi menjava s sorodnimi utstanovami po svetu, ki poteka še danes.
Knjižnico Narodnega muzeja so po preselitvi v današnjo stavbo na Prešernovi cesti uredili po sodobnih bibliotekarskih pravilih v dvajsetih letih 20. stoletja. Zanjo so namenili prostor v levem traktu pritličja, ki je bil sicer prvotno zasnovan kot razstavna dvorana. Do leta 1984 v tem delu ni bilo niti električne napeljave, danes pa ne ustreza več pogojem varnosti in delovanja moderne knjižnice.
Leta 1994 je knjižnica kot prva specialna knjižnica s področja kulture pristopila k skupnemu knjižnično-informacijskemu sistemu slovenskih knjižnic. Leta 2001 smo pridobili nove sodobno opremljene prostore v desnem delu pritličja.
Leta 2006 je bila končana selitev vsega gradiva v nove prostore.