Klubben var i mange år kun repræsenteret i de lavere rækker, og blev i 1982 tysk amatørmester.
I 1988 rykkede man dog op i 2. Bundesliga (man havde i begyndelsen af 60'erne været et midterhold i den næstbedste række, men ikke mere). Det blev dog kun til en enkelt sæson, før man måtte tilbage til Regionalligaen. I 1990 kom klubben dog op igen, og denne gang var det for at blive der. I både 1997, 2002 og 2003 sluttede klubben på en 4. plads, hvilket lige akkurat ikke gave oprykning til Bundesligaen, men i 2004 lykkedes det for første gang i klubbens historie.
I sin første sæson nøjedes Mainz ikke med at forblive i rækken, man kvalificerede sig også til UEFA Cup'en via Fair Play-listen.
Torsdag 15. maj 2014 offentliggjorde klubben, at man havde skrevet en treårig kontrakt med den danske træner Kasper Hjulmand gældende fra sæsonen 2014-15. Hjulmand, der tidligere var træner for det danske fodboldhold FC Nordsjælland, tiltræder som cheftræner. Hjulmand nåede dog kun lidt over en halv sæson efter han den 17. februar 2015 blev fyret.