Gegenüber dem Dom erhebt sich auf dem Marktplatz die romanische Gaukirche St. Ulrich. Um 1170/80 errichtet, wurde der Bau ab 1231 Klosterkirche der Paderborner Zisterzienserinnen. Im Süden entstand in der Grube ein Klostertrakt. Um 1500 wurde die Anlage zu einem Benediktinerinnenkloster umgewandelt. 1746-1749 ließ Franz Christoph Nagel zum Westen eine Vorhalle mit zweigeschossiger Fassade im Stil des Barocks errichten. In der Figurennische steht ein 1748 von J. P. Pütz gefertigtes Sandstein-Standbild des hl. Ulrich.
Der sechseckige Turm erhielt 1883/84 unter Dombaumeister August Güldenpfennig einen sehr steilen Helm. Nach Aufhebung des Gaukirchklosters (1810) wurden die Klostergebäude als städtisches Armenhaus, Mädchenschule und Lehrerinnenseminar genutzt. 1894 übernahm die Stadtverwaltung die Räumlichkeiten.
Westlich der Gaukirche stand bis Mitte des 17. Jh. eine Domherrenkurie. Als diese aufgegeben wurde, entstanden Bürgerhäuser. Im Haus Nr. 6 befand sich lange die Cramersche Hofapotheke, in der Friedrich Wilhelm Sertürner 1803/04 das Morphium entdeckte. Nr. 8 entstand 1833 für den Kaufmann Konrad Joseph Wiltkotten, Nr. 10 gehörte als Nebenhaus zum Grundstück. Nr. 14 wurde 1723 in Ecklage zum Domplatz für die Familie Gleseker errichtet. Schon im 18. Jh. wurde eine Gastronomie eingerichtet. Seit 1889 betrieb die Familie Kästner hier eine Konditorei.
Gaukirche und Klostergebäude wurden 1945 schwer beschädigt. Die Kirche setzte man zwischen 1946 und 1948 instand. Der Turm erhielt eine Kegelhelmspitze. Die Ruinen des Klosters wurden abgetragen. Erhalten blieb nur der an die Kirche anschließender Seitenflügel mit dem Benedikt-Portal.
Die Barockfassade wurde 1988 restauriert. 2008/09 musste der Turm saniert werden und erhielt einen Quaderputz. Von 2016 bis 2018 wurde das Innere grundlegend umgestaltet. Vorhalle und Kirchenschiff trennt nun eine Glastür. Die Glaselemente am Nordeingang schuf Thierry Boissel. Nur in Vorhalle und Kreuzkapitel stehen noch (barocke) Bänke. Ansonsten werden bei Bedarf Stühle aufgestellt. Kirchen- und Altarraum werden von einem Triumphkreuz geprägt, das Heinrich-Gerhard Bücker (1922-2008) aus Vellern schuf.
Die Häuserreihe am Südrand des Marktes blieb von den Bomben nicht verschont. Nur die Mauern widerstanden dem Feuer. Sie waren stabil genug für eine Wiederherstellung. Weitgehend im alten Stil und nur leicht verändert erstanden die Häuser 6 bis 14 zwischen 1947 und 1950 neu. Das Haus Gleseker wurde als Massivbau mit neuen Decken und Treppen errichtet.
