Schon früh lag ein besonderes Augenmerk, des 1909 aus der privaten Sammlung des Mülheimer Bürgers Robert Rheinen als städtisches Museum entstanden Hauses, auf den mit Mülheim verbundenen Künstlern, die bis heute regelmäßig ausgestellt und gesammelt werden. Zu den bekanntesten gehören heute die der Künstlergruppe "Junges Rheinland" nahe stehenden Künstler Arthur Kaufmann und Otto Pankok sowie der Bauhaus-Schüler Werner Gilles.

In den 1920er Jahren legten Erwerbungen und Ausstellungen von Zeitgenossen wie Karl Hofer und  Emil Nolde den Grundstein für eine Sammlung moderner Kunst. Große Verluste erlitt das Museum im Zweiten Weltkrieg. Erst 1970 konnte es wieder ein eigenes Gebäude beziehen.

Seitdem sind insbesondere drei Sammlungsschwerpunkte verfolgt worden: Expressionistische Malerei, internationale Grafik mit Akzenten auf Künstlerbücher und Grafikserien und Werke von Künstlerinnen und Künstlern aus Mülheim. Diese Ausrichtung fand ihre Anerkennung und direkte Unterstützung durch die Sammlung des Ehepaars Maria und Karl Ziegler im Jahre 1981. Hochkarätige Werke von August Macke, Emil Nolde, Erich Heckel, Karl Hofer und auch Lyonel Feininger wurden mit weiteren expressionistischen Kunstwerken dem Kunstmuseum überlassen und in eine Stiftung überführt. Eine weitere Zustiftung hat diesen Schwerpunkt nachhaltig bereichert. Es ist die Sammlung des Mülheimer Arztes Dr. Karl G. Themel, der über 400 Werke von Heinrich Zille und etwa 200 Arbeiten des in Frankreich arbeitenden Schweizer Künstlers Théophile Alexandre Steinlen einbrachte.

Seit 1994 ist die ehemalige Hauptpost, nach Umbauten zu Museumszwecken, Standort des Kunstmuseums. Wechselausstellungen sind in den letzten Jahren überwiegend mit zeitgenössischen Positionen junger Künstlerinnen und Künstlern des In- und Auslands durchgeführt worden. Große Beachtung finden weiterhin die mit Mülheim verbundenen Künstlerinnen und Künstler, die in Ausstellungen vorgestellt und mit Ankäufen gefördert werden.