Bezoekers van het museum zijn soms verbaasd wanneer ze de museumzalen inlopen: dit is toch Huis van het boek? Inderdaad: naast boeken heeft het museum grote collecties aan oudheden, munten, schilderijen, beeldhouwwerk en curiosa. Dit komt omdat de persoon die de collecties heeft aangelegd, baron Van Westreenen van Tiellandt, een typisch 19de-eeuwse verzamelaar is: zoals veel van zijn tijdgenoten heeft hij grote interesse in de Griekse, Romeinse en Egyptische oudheden, en daarnaast probeert hij met zijn prestigieuze collecties zijn (gekochte!) adellijke titel te benadrukken. Toch heeft de baron vooral passie voor boeken. In 1848 overlijdt de baron. In zijn testament heeft hij vastgelegd dat hij zijn collecties, zijn geld en zijn huis nalaat aan de Nederlandse Staat onder de voorwaarden dat er niets toegevoegd mag worden aan zijn collectie, en de collectie mag ook niet opgesplitst of afgestoten worden. In de jaren ‘50 wordt daarom besloten een museum toe te voegen aan de collectie van de baron: het Museum van het Boek. Hiermee vormt de boekencollectie van de baron de basis voor het nationale boekenmuseum, maar kan tegelijkertijd de geschiedenis van het boek na 1848 worden verteld. Zo is er een scheiding ontstaan tussen de oude collectie van de baron en de collectie van het museum. De museumcollectie groeit nog steeds.
