Die 1888 gegründete "Königlich Preußische Historische Station" hatte die Aufgabe, vor allem die deutsche Geschichte der Reformation und der Konfessionalisierung mit den neu zugänglichen Akten des Vatikanischen Archivs zu erforschen. Aufgrund der beschränkten Öffnungszeiten des Archivs und anderer Bibliotheken sowie aufgrund des Bedarfs an deutschen Geschichtswerken begann der behutsame Aufbau einer Institutsbibliothek (bis 1901 ca. 4.000 Bände).

Den Schritt zu einer Fachbibliothek vollzog Paul Fridolin Kehr, der das Institut ab 1903 leitete. Den starken Ausbau der Bestände begleitete auch eine zeitliche und geographische Erweiterung um die Erforschung des Mittelalters und des gesamten italienischen Raumes. Zudem wurde die Bibliothek auch für auswärtige Forscher/-innen geöffnet. Die Organisation und Verwaltung übernahmen erstmals wissenschaftliche Bibliothekare.

Während des Ersten Weltkriegs wurden die Bücher eingelagert. Anschließend zog man größere Teilbestände nach Deutschland ab. Die verbliebenen 22.000 Titel konnten zwar ab 1923 wieder benutzt werden, doch stagnierte der weitere Ausbau der Bibliothek während der Weltwirtschaftskrise.

Im Nationalsozialismus wurde das Institut dem „Reichsinstitut für ältere deutsche Geschichtskunde“ unterstellt und verleibte sich nach dem "Anschluss" Österreichs circa 1.500–2.000 Bücher des Österreichischen Historischen Instituts ein. Nach der italienischen Waffenstillstandserklärung vom 8. September 1943 wurde das Institut geschlossen. Auf Hitlers Befehl sollten die Buchbestände der deutschen Kulturinstitute in Rom gegen die Bestimmungen eines nach dem Ersten Weltkrieg getroffenen Abkommens aus Italien abtransportiert werden. Über mehrere Stationen wurden die Bücher letztlich in Österreich und Deutschland eingelagert und gelangten erst 1946 wieder nach Rom, wo sie die Vatikanische Bibliothek entgegennahm.

Die Rückgabe der Bibliothek erfolgte nach diplomatischen Verhandlungen, so dass der seit dem Ersten Weltkrieg auf weniger als 30.000 Bände geschrumpfte Bestand im 1953 wiedereröffneten Deutschen Historischen Institut aufgestellt werden konnte. Neben der teilweisen Rückführung der in den 20er und 30er nach Deutschland abtransportierten Bücher wurde der Bestand seit den 60er Jahren stark ausgebaut. Die darüber hinaus erworbenen größeren Sammlungen unterstützten unter anderem auch die Ausweitung der Forschung auf das 20. Jahrhundert.