Der Historische Verein für die slowenische Steiermark wurde am 28. Mai 1903 im Landeshaus gegründet. Der Verein richtete ein Archiv, eine Bibliothek und ein Museum ein. Besonderes Augenmerk legte der Verein auf die Herausgabe der wissenschaftlichen Zeitschrift Časopis za historii in narodopisje (Zeitschrift für Geschichte und Völkerkunde), die 1904 zum ersten Mal erschien. In der Rubrik "Vereinsberichte" berichtete der Verein jährlich über seine Aktivitäten. Darin werden auch die Objekte erwähnt, die sie für das Museum gesammelt haben.

Bereits 1904 können wir lesen, dass das Museum verschiedene Materialien aus allen Bereichen gesammelt hatte: prähistorische Ausgrabungen, einige Töpferwaren aus römischen Gräbern, einige Gemälde, Waffen und Nationaltrachten. Am 6. Juni 1909 eröffnete die Historische Gesellschaft zunächst eine Museumsausstellung in den Räumlichkeiten des Nationalhauses und im November desselben Jahres ein "Museum als solches", wie der Sekretär der Gesellschaft, Dr. Franc Kovačič, sagte.

Zu dieser Zeit verfügte das Museum über drei Sammlungen: Kulturgeschichte, Numismatik und Naturgeschichte. Die kulturhistorische Sammlung umfasst auch Gemälde. Von den im Bericht aufgelisteten Gemälden können heute nur zwei mit Sicherheit im aktuellen Bestand identifiziert werden: das Porträt von Simon Gregorčič, das der Gesellschaft von Herrn Stegnar geschenkt wurde, und das Porträt von Stank Vraz, das von Dr. Turner gestiftet wurde.

Der Historische Verein verfügte über ein Inventarbuch, in dem Informationen über die erworbenen Objekte ab 1909, jedoch nicht chronologisch, erfasst wurden. Ab 1923 wurden auch die Daten der vom Lavantiner Diözesanmuseum und dem Museumsverein erworbenen Objekte in das Buch eingetragen, da die drei Sammlungen nach 1924 zusammengelegt wurden. Nach den Angaben im aktuellen Inventarbuch des Museums stammt der Großteil der Gemälde in der Sammlung des Historischen Vereins aus dem Nachlass von Ota Ploja, einem Notar in Radgona.