Il Mainz, fondato nel 1905, fu tra i club fondatori della Bundesliga 2 nel 1974, all'epoca composta da due gruppi di 20 squadre. Prima del suo debutto in Bundesliga nel 2004/05, il Mainz mancò la promozione nel 2002 per un solo punto e per un solo gol nel 2003.
