Knjižnica KBC Sestre milosrdnice je osnovana relativno kasno u odnosu na stoljetno postojanje Bolnice i njezin značaj u hrvatskoj medicini i zdravstvu. Prvi liječnici ove Bolnice, posebno prof. Wickerhauser i njegovi učenici, nisu imali svoju bolničku knjižnicu, ali su stvarali svoje vlastite priručne knjižnice. Ravnateljstvo Bolnice je na poticaj prof. Čačkovića kupilo 1905. godine prvi rendgenološki atlas u svijetu a koji je izašao 1900. godine. (Immelman: Röntgen-Atlas des normalen menschlichen Körpers). Godine 1954. započinje s radom ˝Centralna biblioteka˝ iz koje je nastala današnja Knjižnica Bolnice. Postojeći knjižnični fond, koji je djelomično potjecao iz fonda Fakulteta i poklona, tek se manjim dijelom sistematski nabavljao i čuvao za potrebe pojedinih odjela. Na žalost, već na samom početku, knjižnica nije bila prostorno centralizirana, što je onemogućilo njen pravilan razvoj. Iako su u početku postojali neki pokušaji, osobito Kluba liječnika Bolnice, da se problemu knjižnice pristupi sustavno i ozbiljno, zapravo pravog sluha i interesa za ovaj problem nikad nije ni bilo. Svi su uvijek bili zainteresirani za nabavu knjiga i časopisa, ali nikad za njihovu obradu, pohranu i katalogizaciju. Prvi djelatnici koji su radili u knjižnici nisu bili stručno educirani knjižničari, pa ni oni nisu tomu pridavali nikakvu važnost.
Sedamdesetih godina prošlog stoljeća knjižnična služba se bolje i efikasnije organizira u skladu s pravilima knjižničarske struke. Izrađeni su tiskani katalozi, posebno periodike, posudba i nabava su centralizirane. Uspostavlja se dobro organizirana međuknjižnična suradnja i posudba s najvećim i najznačajnijim knjižnicama u to doba na tlu bivše Jugoslavije, posebno s Centralnom medicinskom knjižnicom u Ljubljani, tako da se liječnicima i drugim zdravstvenim djelatnicima omogućuje korištenje velikih i bogatih fondova domaćih i stranih knjižnica. Knjižnica surađuje sa Studijskom knjižnicom Nacionalne i sveučilišne biblioteke u Zagrebu i njezinom Službom znanstvenih informacija, koja ima zadatak da nabavlja i diseminira rezultate znanstvenih istraživanja, objavljenih u nas i u svijetu. S područja biomedicine, na raspolaganju su svjetske biomedicinske baze podataka: Medline, Toxline, Cancerline, Excerpta Medica, Pharmaceutical News Indeks, Psychological Abstracts. Godine 1980. unutar Sustava znanstvenih informacija SRH (SZI) odnosno bibliotečno-informacijskog sustava SR Hrvatske osnovan je podsustav za područje medicinskih znanosti, u koji je uključena i Knjižnica Bolnice. Devedesetih godina polako se uvode i kompjuteri u knjižnično poslovanje, započinje suradnja sa Središnjom medicinskom knjižnicom na stvaranju zajedničkog mrežnog kataloga knjiga i periodike Sustava znanstvenih informacija (SZI), a Ministarstvo znanosti i tehnologije RH započinje sufinancirati nabavu stranih znanstvenih časopisa.
Priključivanjem Bolnice pa tako i Knjižnice na Hrvatsku akademsku i istraživačku mrežu – CARNet, omogućen je pristup svim važnijim svjetskim znanstvenim bazama podataka kao i e-kolekcijama časopisa. Polovicom prvog desetljeća ovog stoljeća započinju i financijski i organizacijski problemi u nabavi časopisa i knjiga, no usprkos tome Knjižnica uspješno nabavlja sve potrebne informacije s područja biomedicine za svoje korisnike. Nakon pripajanja Klinike za traumatologiju Zagreb, Klinike za tumore i Klinika za dječje bolesti Zagreb Kliničkom bolničkom centru Sestre milosrdnice u srpnju 2010.godine knjižnična djelatnost je organizirana na četiri lokacije. U svibnju 2012. godine Klinika za dječje bolesti izdvojena je iz KBC-a, pa danas Knjižnica djeluje na tri lokacije – Vinogradska, Ilica i Draškovićeva. Knjižnica u Ilici osnovana je 1969.godine te sakuplja, obrađuje i daje na korištenje uglavnom onkološku literaturu. Knjižnica u Draškovićevoj osnovana 1979.g. specijalizirana je za literaturu s područja kirurgije, ortopedije, traumatologije, fizikalne medicine i rehabilitacije te povezanih medicinskih struka.