1850 wurde Paderborn an das deutsche Eisenbahnnetz angeschlossen. Die Bahnhofstraße wurde zu einer der Ausfallstraßen. Der Reiseverkehr begünstigte diese Entwicklung, die u. a. zum Bau zahlreicher Hotels führte.
Als der Gutsbesitzer Hermann Josef Hesse (1839-1910) sich in den 1870er Jahren eine Stadtvilla errichtete, musste er bereits ein gutes Stück stadtauswärts nach einem Grundstück suchen. Er fand es quasi vis-à-vis dem Bahnhof, dessen Betriebslärm in dieser Zeit noch als Zeichen des Fortschritts galt. Hesse gehörte politisch und gesellschaftlich zur Prominenz der Paderstadt und ließ deshalb ein repräsentatives Gebäude im klassizistischen Stil bauen. An der Südwestecke ragte ein Fenstervorsprung hervor, auf dem Dach erhob sich ein Turm.
Nach Hesses Tod übernahm sein Schwiegersohn Otto Plassmann (1861-1932) - seit 1895 Bürgermeister von Paderborn - die Villa. Er war u. a. mitverantwortlich für die Gründung des Eisenbahnausbesserungswerkes Nord sowie der PESAG (1909). Als im April 1911 die Straßenbahnlinie Paderborn-Lippspringe-Schlangen eröffnet wurde, spielte die Kapelle des in Paderborn stationierten Infanterieregiments im Vorgarten der Villa Hesse auf.
Philipp Haerten (1869-1942), seit 1919 Bürgermeister von Paderborn, zog nach Plassmann in die Villa ein. Drei Jahre später zielten alliierte Bombenangriffe auf den Bahnhof und das Ausbesserungswerk. Zu den zahlreichen ‚Kollateralschäden‘ dieser Attacken zählte auch die Villa Hesse. Sie wurde nicht wieder aufgebaut, das Grundstück lag brach. Ein Teil der Ruine wurde 1945 als Gaststätte genutzt. Später entstand ebenerdig ein Flachbau, in dem der Kaufmann Lohmann die „Gaststätte Rotbuche“ einrichtete.
Anfang der 1950er Jahre verkaufte die Erbengemeinschaft Hesse das Grundstück. Hier entstand ab November 1966 der Neubau des Finanzamts Paderborn, das bisher notdürftig in verschiedenen Gebäuden (u. a. in der Fürstenbergstraße, in der Bahnhofstraße und am Marienplatz) untergebracht war. Die „Rotbuche“, ein beliebter Kneipentreffpunkt für Bahnreisende, Straßenbahn- und Busfahrende, wurde abgerissen. Richtfest feierte das Finanzamt im August 1968. Anfang Juli 1969 konnte das 27 m hohe, siebengeschossige Gebäude (Hausnr. 28) mit 116 Diensträumen bezogen werden.
Ab dem Januar 1990 wurde das Amtsgebäude umgebaut. Außerdem bezog das Finanzamt zusätzlich die Räume des ehemaligen Finanzbauamts, Hier konnten endlich alle noch ausgelagerten Dienststellen untergebracht werden. Weil die Fassade des Finanzamtes erhebliche Schäden zeigte, musste sie 2008 aufwändig saniert werden und erhielt dabei eine lindgrüne Außenhaut.
Das Grundstück Bahnhofstraße Nr. 28 wurde im Mai 1971 für den Neubau des Arbeitsamtes (seit 2004: Agentur für Arbeit) Paderborn erworben. Unter der Leitung des Finanzbauamts begannen die Bauarbeiten im August 1977. Zwischen Februar und April 1980 konnte das fertiggestellte Dienstgebäude bezogen werden.
