Der Weberberg fällt als kurze Gasse von der Marienstraße nach Norden steil zum Paderquellgebiet ab. 1592 erbauten die Eheleute Matthias von Hansten und Margaretha Mengen auf einem massiven Bruchsteinsockel ein dreigeschossiges, Fachwerkhaus mit Satteldach (heute Haus Nr. 4). Das untere Geschoss wurde im Bereich des Erkers später vorgezogen. Über eine zweiläufige Treppe (18. Jh.) erreicht man das Eingangstor. Darüber kragt ein Speichergeschoss leicht vor. Das Gebäude ist ein typisches Paderborner Wohnhaus des späten 16. Jahrhunderts. Es war ohne Diele oder großes Tor und somit nicht (land-) wirtschaftlich nutzbar.
Nr. 6 entstand wohl schon nach 1600, wurde aber 1734 vom Flickschneider Franzpeter Hof und Gattin Katharina Nagel zum Fachwerkhaus mit Krüppelwalmdach umgebaut. Über zwei Wohnetagen liegt der ehemalige Speicher. Auf dem Dach sitzt traufseitig eine ihrerseits überdachte Ladetür. Ein vermutlicher Anbau auf der Rückseite (19. Jh.) wurde abgebrochen. Um 1900 baute man rechtsseitig zur Gasse ein Schaufenster ein. Nr. 6 ist ein Beispiel für den Hausbau der zeitgenössischen Paderborner Mittelschicht.
Heute gilt Nr. 4 als eines der ältesten erhaltenen Häuser der Stadt, wobei sich dies auf die Fassade und die großen Gewölbekeller beschränkt. Obwohl Bomben im März 1945 das Haus in Mitleidenschaft zogen - das Hintergebäude brannte aus -, blieb der Giebelbereich erhalten und wurde 1950 renoviert. 1976/77 brach man das Hintergebäude ab. 1980/81 wurde das Gebäude bis auf das Gerüst entkernt, innen für eine Nutzung als Gaststätte umgebaut und nach hinten erweitert. 2012 erfolgte im Rahmen einer gastronomischen Neuausrichtung eine umfangreiche Innensanierung, und das Haus bekam neue Fenster.
1976/77 wurde das Gebäude Nr. 6 parallel zum Nachbarhaus 4 innen vollständig umgebaut und mit einer Stahlkonstruktion gesichert. Die beiden Wohngeschosse verschmolzen zu einem hohen Geschäftsraum, zur Marienstraße baute man ein großes Schaufenster ein, und auf der Rückseite sorgt ein Anbau für mehr Raum. 1997/98 wurde das Fachwerk saniert.
