Die Karlstraße gehörte seit den 1890er Jahren zu jenem Bereich nördlich der Bahnlinie, der für die planmäßige Erweiterung der Stadt Paderborn vorgesehen war. In den nächsten Jahrzehnten entstanden hier zahlreiche Wohnhäuser, die den architektonischen Stil ihrer Entstehungszeiten wiederspiegeln. Zwar hat der Zweite Weltkrieg auch in der Karlstraße Spuren hinterlassen, doch viele der Gebäude wurden - oft modern überformt oder um früheren Zierrat vereinfacht - wieder aufgebaut.
1908/09 errichtete man die dreigeschossige Marktschule mit ihren etwa spiegelbildlichen Flügeln. Rechts (d. h. zur Kilianstraße gelegen) kamen am 1. Mai 1909 die Knaben, links (zur Geroldstraße) am 3. April 1913 die Mädchen der katholischen Markkircher-Schule (Weberstraße) unter.
1939 zur „Volksschule an der Karlstraße“ umbenannt, mussten die Schüler/innen im Zweiten Weltkrieg schon 1939 und im Dezember 1944 endgültig einquartierten Soldaten weichen, sodass kein Unterricht mehr erteilt wurde. Bereits durch den Bombenangriff Ende August 1942 beschädigt, wurde die Schule am 27. März 1945 schwer getroffen und brannte fast völlig nieder.
Während das Schulgebäude wieder aufgebaut wurde, fand der Unterricht in unbeheizten Barracken auf dem Gelände und dem Standort der zerstörten Turnhalle statt. Im August 1948 konnten erste Klassen wieder in das nur provisorisch gedeckte Gebäude einziehen, erst 1949/50 war der Neubau abgeschlossen.
Die Volksschule wurde 1967 aufgelöst und als Grundschule (Karlschule I) und katholische Versuchshauptschule (Karlschule II) für Kinder mit Migrationshintergrund neu organisiert. Am 1. August 1991 entstand durch den Zusammenschluss von Karl-, Markt- und Kilianschule die neue städtische Gemeinschafts-Grundschule. Aktuell wird diese von mehr als 200 Kindern in zehn Klassen besucht.
Neben der Schule stand auf der Seite zur Kilianstraße zurückgesetzt lange ein zweistöckiges Lagergebäude mit Walmdach. Es musste dem Groß-Bauprojekt „Karls Quartier“ weichen. 2020/21 entstand an der Ecke Karl- und Kilianstraße eine viergeschossige Wohnanlage mit 21 Einheiten. Im Erdgeschoss zog im August 2020 die kommunale Kindertagesstätte „Drei Hasen“ ein.
