A könyvtár története szorosan egybefonódik a múzeum történetével, elválaszthatatlan attól. Az első könyvek és folyóiratok egyenlőre tisztázatlan körülmények között kerültek be a múzeumba, valószínűleg részét képezték az első gyűjteményeknek. A rendszeres könyvgyűjtést, könyvvásárlást Bárth János kezdte el. Az első leltárkönyvet 1970. október 1-én nyitotta meg, az első bejegyzés pedig november hónapban került a könyvbe. Érdekes, hogy az első beleltározott könyv éppen Dr. Bátky Zsigmond „Útmutató néprajzi múzeumok szervezésére” című könyve. Az állománygyarapítás folyamatos volt, bár a könyvtár anyaga nem növekedett gyorsan. Az első könyvek főként néprajzi, helytörténeti, történeti és művelődéstörténeti jellegűek voltak, valamint a fontosabb idegen nyelvi szótárak és lexikonok.
1988-ban a múzeum tulajdonába került Gyetvai Péternek, Grősz József kalocsai érsek irodaigazgatójának értékes könyvtára. A gyűjtemény főként külföldi és magyar művészettörténeti sorozatokból, helytörténeti és régészeti kötetekből áll.
A gyűjtést Romsics Imre múzeumigazgató is folytatta. Az egyre jobban szűkülő költségvetés miatt hagyatékok, ajándékok megszerzésével gyarapította az állományt. Különös jelentősége van a régi kalocsai nyomdákban előállított és a helytörténeti jellegű kiadványok gyarapításának.
Az 1990-es évek közepétől országosan is meghatározott jelentőségű lett a múzeum és a hozzá szorosan kapcsolódó Kalocsai Múzeumbarátok Köre könyvkiadása. Erre alapozva, az utóbbi években a múzeumi és levéltári cserekiadványok teszik ki az éves gyarapodás jelentős részét.
A könyvtár legjelentősebb adományozója és támogatója Székely László plébános. További adományozók: Bozsó Ferencné, D. Szabó Kálmán, Romsics Imre.