A Szlovén Stájerország Történelmi Társaságot 1903. május 28-án alapították a Nemzeti Házban. A társaság levéltárat, könyvtárat és múzeumot hozott létre. A Társaság különös figyelmet fordított a Časopis za historii in narodopisje (Történelem és néprajz folyóirat) című tudományos folyóirat kiadására, amely először 1904-ben jelent meg. A Társaság évente beszámolt tevékenységéről a "Társasági jelentések" rovatban. Megemlítik a múzeum számára gyűjtött tárgyakat is.

Már 1904-ben olvashatunk arról, hogy a múzeum minden tudományágból gyűjtött különböző anyagokat: őskori ásatásokat, római kori sírokból származó kerámiákat, festményeket, fegyvereket és népviseleteket. 1909. június 6-án a Történelmi Társulat először egy múzeumi kiállítást nyitott meg a Nemzeti Ház helyiségeiben, majd ugyanezen év novemberében a Társulat titkára, Dr. Franc Kovačič szerint egy »múzeumot mint olyat«.

Akkoriban a múzeumnak három gyűjteménye volt: kultúrtörténeti, numizmatikai és természettudományi. A kultúrtörténeti gyűjteményhez festmények is tartoznak. A jelentésben felsoroltak közül a jelenlegi leltárban már csak kettő azonosítható biztosan: Simon Gregorčič portréja, amelyet Stegnar úr adományozott a Társaságnak, és Stank Vraz portréja, amelyet Dr. Turner adományozott.

A Történelmi Társulatnak volt egy leltárkönyve, amelyben 1909-től kezdve rögzítették a megszerzett tárgyakra vonatkozó információkat, de nem időrendben. A könyvbe 1923-tól a Lavantin Egyházmegyei Múzeum és a Múzeum-Egyesület által megszerzett tárgyak adatait is bejegyezték, mivel a három gyűjteményt 1924 után összevonták. A Múzeum jelenlegi leltárkönyvének adatai szerint a Történelmi Társulat gyűjteményében lévő festmények többsége Ota Ploja radgonai jegyző hagyatékából származik.