Die Stadt Passau hatte durch ihre Lage und Handelsbeziehungen in früherer Zeit auch große kulturelle Bedeutung. Sie war auch auf diesem Gebiet Knotenpunkt zwischen Ost und West, Nord und Süd. Hier vermischten sich Einflüsse aus Böhmen und Italien, Ungarn, Österreich und Bayern.

Diese Tradition vor allem im Bereich der bildenden Kunst wieder aufzunehmen und beizutragen zu einem weltoffenen Klima, war die Absicht des Architekten Hanns Egon Wörlen als er 1988 die Stiftung Wörlen -  Museum Moderner Kunst ins Leben rief.

Hanns Egon Wörlen (geb. 1915 in Marnheim/Rheinpfalz) ist der Sohn des Malers und Graphikers Georg Philipp Wörlen (1886-1954), der besonders in den 20er Jahren große künstlerische Ausstrahlung hatte und bei dem sich Maler, Bildhauer und Schriftsteller aus ganz Deutschland und Österreich trafen.

Zeit seines Lebens war ihm die Kunst ein wesentliches Anliegen, als erfolgreicher Architekt wurde er zu einem der wichtigsten Kunstförderer der Region.

1988 konnte er das renovierungsbedürftige Altstadthaus in der Bräugasse 17 erwerben, um sein Ziel, der Europastadt Passau auf dem Gebiet der bildenden Kunst wieder überregionale Bedeutung zu geben, zu verwirklichen. Dieses Gebäude im Herzen der Altstadt, direkt an der Donau gelegen, eignet sich nicht nur aufgrund seiner Lage, sondern auch aufgrund seines repräsentativen Charakters und seiner Großzügigkeit besonders als Museum in einer historischen Stadt.

Dank wesentlicher öffentlicher Förderung und erheblichen Eigenmitteln konnte der Gebäudekomplex in denkmalpflegerisch vorbildlicher Weise renoviert werden. Seit seiner Eröffnung im Juni 1990 wird das Museum Moderner Kunst immer wieder von den Medien und Besuchern als eines der schönsten Museen Deutschlands bezeichnet.