Anfangs finanziell gut ausgestattet, konnte Oppenheim auch Raritäten und wertvolle Handschriften erwerben. Auf Fotoaufnahmen aus seinem Kairoer Haus um die Jahrhundertwende sind kleine Zettel an den Bücherregalen zu erkennen, die auf eine einfache Ordnung schließen lassen. Eine systematische Erfassung durch Personal der Berliner Staatsbibliothek war erst in den 1920er-Jahren zu verwirklichen.
Der Sammelschwerpunkt lag auf Büchern mit Bezug zum Vorderen Orient und zum Islam. Nachdem die Entscheidung gefallen war, auf dem Tell Halaf eigene Ausgrabungen durchzuführen, bereitete sich Oppenheim durch intensives Selbststudium auf seine neue Aufgabe vor. Wenige Monate nach Grabungsbeginn schrieb er: »Gottlob bin ich nun im Stande, in meinen Büchern in ernster Untersuchung den Resultaten der bisherigen Ausgrabungen wissenschaftlich nachzugehen.« Die Spezialbibliothek bildete den Grundstock des 1922 gegründeten Orient-Forschungs-Instituts zusammen mit Oppenheims Foto- und Realiensammlung. Ihr Wert wurde 1926 auf eine Million Goldmark geschätzt.