Eisenzeitliche Spuren im Bereich der Kleppergasse belegen, dass schon vor mehr als 2000 Jahren Menschen die fruchtbaren Lösslehmböden zwischen der Warmen Pader und der späteren Königsstraße besiedelten. Da das Gelände einen leichten ‚Rücken‘ bildet, war man hier vor Hochwasser sicher.
Aus den Jahrhunderten vor der Stadtgründung fanden sich Vorratsgruben, Pfostenlöcher, Keramikgefäße, Mühlsteine u. a. Siedlungsspuren. Als Karl der Große 776 die Kaiserpfalz errichten ließ, entstand im Süden der Anlage eine unbefestige Außensiedlung. Für das Ende des 12. Jahrhunderts lassen sich unterkellerte, womöglich schon mehrstöckige Fachwerkhäuser nachweisen. In dieser Zeit entstand eine neue Stadtmauer, und die alte Siedlungsstelle ging endgültig in der Stadt auf.
Um 1600 war die spätere Kleppergasse als Stuhlstraße bekannt. Hier standen zahlreiche Webstühle, deren Arbeitsgeräusch - das Klappern oder Kleppern - der Gasse angeblich ihren endgültigen Namen gab. Wie die angrenzende Königstraße wurde die Kleppergasse spät an die Kanalisation angeschlossen, was aufgrund der engen Bebauung für hygienische Probleme sorgte.
Die Grundstücksgrenzen und die Ausrichtung der Gebäude haben sich seit dem 12. Jh. kaum geändert, während die Bebauung vielfach neu entstand. Den endgültigen Bruch mit einer von Fachwerkhäusern geprägten Vergangenheit brachten die Bombenangriffe im März 1945; sie sorgten für eine gründliche Zerstörung des Hausbestands, der durch nüchterne Zweckbauten ersetzt wurde.