Unter der Leitung des Barockbaumeisters Johann Conrad Schlaun (1695-1773) entstand 1718 an der Ecke Kamp und Heiersstraße dieser zweistöckige Rechteckbau als städtisches Quartier für die Angehörigen des Augustinerchorherrenstifts Dalheim; dessen Wappen schmückt noch heute den Dreiecksgiebel über dem dreistöckigen Fassadenvorbau (Risalit). 1774 verkaufte das Kloster seinen Stadthof. Obermarschall Dietrich von Bocholtz, dem das Gebäude als Erbe zugefallen war, veräußerte es 1831 dem preußischen Staat, der es dem Bischof von Paderborn als Amtssitz zuwies. Friedrich Clemens von Ledebur-Wicheln (1825-1841) wurde erster Bewohner. Er war - noch als Mieter - bereits 1826 eingezogen.
1862 wurde der Hof dem Bistum Paderborn übertragen. 1902 erweiterte dieses die Anlage entlang des Krummen Ellenbogens durch einen Flügelanbau.
Dem Bischofspalais gegenüber stand noch 1945 ein Fachwerkhaus (Nr. 51), das die Breite des Kamps stark einschränkte. Bereits 1914 sollte es abgerissen werden, was der Erste Weltkrieg verhinderte.
Der Zerstörung 1945 folgte 1948/50 die Wiedererrichtung. Neue Innenwände und eine Eingangshalle wurden errichtet. Im Rahmen einer Außensanierung konnten 1979 Reste der ursprünglichen Fassadenfarbe aus dem Barock festgestellt werden. Die neue Farbfassung greift dies auf. Weiterhin residieren die Bischöfe bzw. Erzbischöfe von Paderborn im Palais.
Zur Rechten wird das Gebäude vom 1994-1997 errichteten Einkaufszentrum Libori-Galerie und dem angebauten Großparkhaus überragt. Der Innenhof wird von seinem mächtigen, sphärisch gewölbten Pultdach aus Glas dominiert.
Das ebenfalls zerstörte Fachwerkhaus Nr. 51 verschwand; sein Grundstück bot 1945 die Möglichkeit zur lange geplanten Verbreiterung der Kampausmündung. Nachdem die Fußgängerzone über die Westernstraße hinaus ausgedehnt wurde, markiert das Palais heute deren Abschluss dort, wo der Kamp in die Kasseler Straße mündet.
