Posle niza pokušaja, tokom druge polovine XIX i većeg dela prve polovine XX veka, neposredno nakon završetka Drugog svetskog rata, 1946. godine, osnovana je muzejska ustanova pod nazivom Gradski muzej Sremska Mitrovica.

Osnivanje muzeja u Sremskoj Mitrovici usko je vezano za arheološke nalaze iz vremena rimskog grada Sirmijuma, koga je Amijan Marcelin (oko 330-400.g.n.e.), poslednji veliki rimski istoriograf, nazvao ,,mnogoljudnom majkom gradova’’ – urbium matris populosae et celebris.

Međutim, sticajem društvenih okolnosti u formiranju muzejske ustanove odlučujući faktor su bili istorijski spomenici crkvenih obreda. Prvog maja 1946.godine u „Maloj crkvi” otvoren je Muzej crkvene umetnosti (MCU), jedan od prvih te vrste u Demokratskoj Federativnoj Jugoslaviji, sa ceremonijalnim otvaranjem 30. juna iste godine.

Na osnovu Uputstva Odeljenja za prosvetu Glavnog izvršnog odbora Autonomne Pokrajine Vojvodine od 2. novembra, kojim je regulisana i muzeološka problematika, 23. novembra 1946. osnovan je Gradski muzej u Sremskoj Mitrovici, kao muzej kompleksnog tipa sa arheološkom, etnografskom, istorijskom, umetničkom i prirodnjačkom zbirkom. U sastav Gradskog muzeja ušla je i postavka MCU, a na čelu ustanove je , kao dobrovoljni saradnik, bio arh. Branko Vasilić.

Terenski rad organizovan je na teritoriji tadašnjih pet sremskih srezova (sremskomitrovački, šidski, rumski, staropazovački i zemunski) preko mreže saradnika – „poverenika za starine”. Takav način rada omogućio je organizaciju tematskih izložbi i niz drugih aktivnosti različitog obima i karaktera, što je uz ostale pretpostavke (prostorne i kadrovske) omogućilo da je postavka Gradskog muzeja otvorena za javnost 31. maja 1948. godine.

Administrativno-upravne promene u Sremu, do kojih je došlo početkom šezdesetih godina druge polovine XX veka, uticale su da je Sresko veće Narodnog odbora sremskomitrovačkog, 24. decembra 1952. donelo odluku o promeni naziva Gradski muzej u MUZEJ SREMA čime je ustanova prešla na finansiranje od strane Sreza. U narednom vremenskom periodu, do kraja 2011. bilo je nekoliko statusnih promena u pogledu delatnosti, nadležnosti institucije i njenog finansiranja. Godine 1953. u sastav Muzeja Srema ušla je i novoosnovana Umetnička galerija, koja je uz Stalnu muzejsku postavku, lapidarijum Muzeja Srema, Muzej crkvene umetnosti, istorijsku postavku na prostoru Spomen parka u Sremskoj Mitrovici, stalnu izložbu o životu i radu komunista – robijaša u kaznionama Kranjevine Jugoslavije Robija – škola revolucionara, Memorijalnu izložbu ,,Rohalj baze’’ i stalnu istorijsku postavku Srem kroz vekove, decenijama prezentovala prošlost Srema od najstarijih praistorijskih nalaza do kraja Drugog svetskog rata (1945).

Kompleksnost muzeološke delatnosti realizovana je uz angažovanje preko 60 muzejskih radnika, u različitim svojstvima, i brojnih muzejskih saradnika, posebno od početka prvih sistematskih arheoloških iskopavanja Sirmijuma (1957), kada su radu arheoloških ekipa učestvovali istaknuti jugoslovenski i svetski priznati arheolozi čijom je zaslugom Muzej Srema postao značajno mesto na muzeološkoj mapi Srbije, odnosno Jugoslavije. Neka od arheoloških otkrića koja su u vlasništvu Muzeja Srema, kao što su: unikatni zlatnici Konstantina Velikog kovanih između 317 i 337. godine, sunčani sat od mermera s kraja I – početak II veka nove ere, zlatni relikvijar iz prve polovine V v. n. e. , 85 spomenika benificijara sa Jupiterovog svetilišta, zlatna pojasna avarska garnitura iz VII veka i niz drugih značajnih muzealija, ne samo iz Arheološkog, nego i drugih muzejskih odeljenja: Istorijskog, Odeljenja istorije umetnosti, Etnološkog odeljenja i Prirodnjačke zbirke čine njegovu prepoznatljivost i specifičnost na našim prostorima.