Zur „Hebung von Hygiene und Lebensqualität“ ließ eine Aktiengesellschaft 1892 das Kaiser-Karls-Bad auf einem Grundstück Am Damm im Bereich der Paderquellen errichten. Als Volks- und Schulbad entworfen, war es nach Münster das zweite Hallenbad in Westfalen. Mädchen durften erst ab 1907 ins Wasser. Ab 1911 wurden in dem 20-Yard-Becken (ca. 18,2 m) unter einer großen Neptun-Brunnenfigur sportliche Wettkämpfe ausgetragen. In einer Zeit, als eigene Badezimmer keine Selbstverständlichkeit waren, bot das Haus zudem Wannenbäder an.
Bei Kriegsende 1945 völlig zerstört, wurde das Kaiser-Karls-Bad unter städtischer Trägerschaft neu im modernen Bauhaus-Stil aufgebaut und vergrößert. In günstiger Lage am Rand der Parklandschaft des zwischen 1950 und 1955 entstehenden Paderquellgebiets 1952 wiedereröffnet, war es das modernste Hallenbad Ostwestfalens.
Aufgrund hoher Erhaltungs- und Sanierungskosten wurde das Kaiser-Karls-Bad in den 1980er Jahren für die Öffentlichkeit gesperrt, 1993 endgültig geschlossen und
zwischen Oktober und Dezember 1996 abgerissen. Es schloss sich eine ausgiebige archäologische Untersuchung des geschichtsträchtigen Standortes an. Am 25. September 1998 konnte der Grundstein für die Kaiser-Karls-Residenz, eine Wohnanlage für Senioren (Architekt: Helmut Grote), gelegt werden. Im folgenden Jahr feierte man Richtfest. Im März 2000 zogen die ersten Bewohner ein.