Das aus der Städtischen Galerie der Stadt Oberhausen hervorgegangene Ausstellungshaus ist der Kollektion des Sammlerehepaars Peter und Irene Ludwig verbunden. Die umfangreichen Bestände sind über Museen in aller Welt verteilt. Zeit- und raumübergreifend sammelte man Artefakte der griechischen Antike, des Mittelalters, aus der Zeit des Barock und des Rokoko bis hin zu präkolumbischer Kunst. Arbeiten aus Afrika, China und Indien finden sich neben der zeitgenössischen Kunst und der Pop-Art. Werke Pablo Picassos bilden einen Höhepunkt. Fayencen, Fliesen, Porzellane, islamische Keramik, Möbel und Kunstgewerbe sind ebenso Teil der Sammlung wie Meisterwerke der Malerei und Bildhauerei.

Die ungewöhnliche Kollektion kommt in Oberhausen unter speziellen Fragestellungen zu neuen Begegnungen zusammen. Die Ludwig Galerie versteht sich dabei als Bühne für die Sammlung Ludwig und zeigt als "Museum auf Zeit" regelmäßig neue Präsentationen. Die Idee, Meisterwerke der großen Weltkulturen aus unterschiedlichen Epochen in Dialoge zu setzen, entstand am Anfang der 1990er Jahre, seitdem haben Gegenüberstellungen die große Vielfalt der Sammlung gezeigt. Zum Kulturhauptstadtjahr zeigte die große Schau "Zu[m] Tisch!" die Sammlung Ludwig erneut als qualitätvollen Kunststock der Ludwig Galerie.

Neben diesem besonderen Konzept im Umgang mit einer Kunstsammlung besitzt das Haus, 1947 nach dem Zweiten Weltkrieg als erste Galerie im Ruhrgebiet eröffnet, einen kleinen eigenen Bestand. Im Bereich der Malerei stechen Arbeiten Gerhard Richters und Conrad Felixmüllers hervor. Die Skulptur kann sowohl eine Kölner Büste der Hl. Ursula aus dem 14. Jahrhundert als auch Kleinplastiken, so von Hermann Blumenthal vorweisen. Mit der Sammlung Kasimir Hagens kamen Kunsthandwerk und Kuriositäten ins Haus. Die Grafik ist neben der École de Paris mit expressionistischen Blättern ausgestattet. Durch die Schenkung Rolf Jägers kam u.a. ein umfangreiches Konvolut der Druckgrafik von Otto Pankok ans Haus.Erstmals seit 20 Jahren wird im Kulturhauptstadtjahr diesem Bestand wieder Aufmerksamkeit geschenkt. Unter dem Titel "Die Sammlung O." zeigt die Ludwig Galerie eine wunderkammerartige Präsentation dieser unbekannten Bestände.