Der FSV Mainz 05 arbeitete sich stetig weiter nach oben. Jahrzehntelang pendelte der Verein zwischen zweiter und dritter Liga. Erstmalig im Jahre 2004 glückte der Aufstieg in die 1. Bundesliga unter dem FSV Mainz 05 Trainer, der den Verein bisher am nachhaltigsten prägte: Jürgen Klopp. Klopp trainierte Mainz 05 von 2001 bis 2008. Er begann seine Trainerlaufbahn am 28. Februar 2001 beim FSV Mainz als Interimstrainer.
Zu diesem Zeitpunkt stand der Club auf einem Abstiegsplatz und Klopp schaffte als FSV Mainz 05 Trainer am Ende der Saison den Klassenerhalt. In den Jahren 2002 und 2003 erzielte Klopp als FSV Mainz 05 Trainer jeweils Rang 4 und verpasste nur knapp den Aufstieg in die 1. Bundesliga, wobei Rang 4 sehr gute Saisonergebnisse für den FSV Mainz 05 darstellten.
Das Jahr 2004 sollte für den Verein von historischer Bedeutung sein. Am 23. Mai 2004 stand fest, dass der FSV Mainz 05 mit seinem Trainer Jürgen Klopp die nächste Saison in der 1. Bundesliga spielt. Der Aufstieg erstmals in das Bundesliga Oberhaus war also geschafft.
Für einen Neuling ist das Bestehen in der 1. Bundesliga nicht leicht, doch Jürgen Klopp schaffte es, als FSV Mainz 05 Trainer mit seiner Mannschaft die folgenden 3 Spielzeiten in der 1. Liga Fussball zu spielen. 2004/05 und 2005/06 wurde der Mainzer Trainer mit seinem Team jeweils Elfter. Über die UEFA-Fair-Play Wertung zog der FSV Mainz 05 vor der Saison 2005/06 sogar in den UEFA-Cup ein. Auch das war ein historischer Augenblick in der Vereinsgeschichte.
Am Ende der Saison 2006/07 stieg der FSV Mainz 05 Trainer Klopp knapp, auf Platz 16 liegend, mit seiner Mannschaft wieder in die 2. Liga ab. In der darauffolgenden Saison war Klopps Ziel klar: der direkte Wiederaufstieg. Er kündigte an, dass er, wenn der Aufstieg nicht klappen sollte, den Verein verlassen werde. Der Mainzer Trainer verpasste den Aufstieg sehr knapp, Mainz erreichte den vierten Platz und Jürgen Klopp beendete seinen Vertrag zum 30. Juni 2008 als FSV Mainz 05 Trainer.
Die Ära Klopp prägte den Verein und mit ihm kam der endgültige Erfolg zum Club. Mittlerweile trainiert der ehemalige FSV Mainz 05 Trainer Jürgen Klopp Borussia Dortmund und wurde mit diesem Verein in der Saison 2010/11 Deutscher Meister. Die Erfolgsgeschichte von Jürgen Klopp setzt sich also fort ...
Der Nachfolger Klopps als FSV Mainz 05 Trainer wurde Jorn Andersen, der in seiner ersten Saison 2008/09 den Club wieder in die 1. Liga führte. Auch im DFB-Pokal waren die Mainzer in dieser Saison erfolgreich, sie erreichten zum ersten Mal das Halbfinale. Trotz seines Erfolgs als FSV Mainz 05 Trainer stand Andersen in der Rückrunde der Saison 2008/09 vermehrt in der Kritik. Der Verein reagierte und trennte sich nach nur einer Saison von ihm als FSV Mainz 05 Trainer.
In der 1. Liga wieder angekommen, übernahm ein neuer Trainer den FSV Mainz 05: Thomas Tuchel. Dieser wurde in der Saison 2008/09 als Mainzer A-Junioren Trainer Deutscher Meister. Tuchel startete sehr stark mit den Mainzern in die Saison 2009/10, besiegte am fünften Spieltag sogar den FC Bayern München mit 2:1. Am Ende verbuchten die Mainzer mit ihrem Trainer Tuchel einen souveränen neunten Platz.
Die Saison 2010/11 begann sogar noch fulminanter als die vorherige für den FSV Mainz 05 Trainer Thomas Tuchel und sein Team. Nach dem vierten Spieltag schafften sie erstmals in der Vereinshistorie den Sprung auf Platz eins der 1. Fussball-Bundesliga. Thomas Tuchel erzielte als FSV Mainz 05 Trainer zum Ende der Spielzeit Rang 5, die beste Platzierung, die der Verein je erreichte, und damit die direkte Qualifikation für die Europa League.
Thomas Tuchel führt die Erfolge des FSV Mainz 05 als Trainer fort und baut sie mit seinem Team immer weiter aus.