Um 1607 ließ der Kaufmannssohn Bartoldt Overecke am Kamp einen repräsentativen Renaissancebau errichten. 100 Jahre später wurde er - nun im Besitz des Gografen und Juristen Dr. Heinrich Theodor Koch - um ein Barockportal ergänzt. 1803 kaufte Joseph Gethmann das Haus für seinen Gasthof „Im weißen Schwan“.
Der zum Hotel ausgebaute Gasthof wurde ab 1812 von seinen neuen Eigentümern, dem Ehepaar Leonard und Antonette Löffelmann, und später von ihren Nachkommen weitergeführt. In dieser Phase wurde das Gebäude um zwei zusätzliche Stockwerke und einen Westerker erweitert. Diesen zierte eine Darstellung des Kartenspiels „66“, das angeblich 1652 in diesem Haus erfunden wurde.
Das „Haus Löffelmann“ wurde zum Treffpunkt für die Paderborner Gesellschaft. Prominente aus Politik, Wirtschaft und Kirche kam hier ebenso zusammen wie die Offiziere der Paderborner Garnison. Nach der Familie Löffelmann führte ab 1933 der Gastwirt Fritz Lönnig Hotel und Gasthof weiter.
Nur der untere Teil der Außenfassade überstand 1945 Bomben und Brand. Sie konnte nicht mehr gerettet werden und musste 1959 abgerissen werden. Geborgen wurde das Barockportal. Es fand 1977 einen neuen Platz am Haus Markt Nr. 5.
1959 entstand auf dem Grundstück die Ländliche Centralkasse Münster, Geschäftsstelle Paderborn. Ein Jahr später wurde über dem Eingang ein Steinrelief angebracht, das drei Karten zeigte und abermals an die ‚Erfindung‘ des „66“-Spiels erinnerte.
1972 bezog die Bank für Kirche und Caritas das Gebäude. Vor dem Gebäude steht seit 1994 eine vom Bildhauer Heinrich Georg Bücker geschaffene Bronzestatue des Theologen Friedrich Spee von Langenfeld (1591-1535), eines energischen Kritikers der zeitgenössischen Hexenprozesse, der als Dozent und Professor für Moraltheologie an der Jesuiten-Universität tätig war.
