Allmählich erhielt jedoch die Euphorie einen ersten Dämpfer. Die hohe Spielerfluktuation (diverse Osteuropäer u.a. Ivanchikov und Belgier mit Bauwens und Wauthier folgten) führte zu einer Entfremdung infolge mangelnder Identifikation mit dem Verein. Man kannte kaum mehr die Spielernamen und so nahm das Interesse der Zuschauer an den Meisterschaftsspielen deutlich ab. Noch einmal gab es jedoch in der Saison 2002/03, um den mittlerweile ebenfalls für den TuS spielenden Spitzenspieler Andreas Fejer-Konnert, einen sportlichen Höhepunkt. Im Spitzenspiel gegen Altena ging es um den Aufstieg in die 2. Bundesliga. Der mittlerweile auch für den TuS spielende, heutige Weltklassespieler, Steffen Mengel unterlag mit seinen 14 Lenzen, in besagtem Spiel, dem Altmeister Wilfried Lieck nur knapp. Zwar endete das Spiel zu Ungunsten der Siegener mit 6:9, aber dennoch erhielt man später am grünen Tisch die Möglichkeit zum Aufstieg in die 2. Liga. Die Vereinsführung lehnte jedoch richtigerweise ab. Es gab Unstimmigkeiten, in deren Folge die Boersmas, denen der Verein über ein Jahrzehnt sehr viel zu verdanken hatte, geschlossen den Verein verließen. Der herbe Verlust spiegelte sich auch in den Finanzen wider. Die erste Mannschaft wurde zurückgezogen und startete in der Oberliga, in der sich mittlerweile die zweite Mannschaft etabliert hatte. Von den auswärtigen Spielern verblieben lediglich Attila Halmai und der lustige Weißrusse Pavel Zajogine. Hinzu kam Patrick Berger. Trotz noch überschaubarer finanzieller Belastungen zog Gerhard Neuser, wiederum richtigerweise, die Reißleine und auch letztgenannte Spieler verließen den Verein. Der 10. April 2004 gilt als rabenschwarzer Tag in der Vereinsgeschichte der DJK TuS 02 Siegen. Mit dem Rückzug der ersten Mannschaft aus dem Oberligahaus folgte der Zwangsabstieg in die Bezirksklasse, in der zuvor die zweite Mannschaft spielte. Mit diesem einschneidenden Ereignis endete einerseits das Experiment "Gekaufter Spitzensport" sowie andererseits eine lange Ära erstklassiger Siegerländer Tischtennissport. Ein Fehler, der mit zur Misere beitrug, war die Tatsache, dass man es versäumt hatte eine eigene Jugendabteilung aufzubauen. Jugendliche Spieler wurden einfach gekauft und gingen wie selbstverständlich, wenn sie ein besseres Angebot erhielten. Die TTG Netphen erlebte fast zeitgleich das gleiche Debakel, stürzte aber insbesondere aufgrund einer hervorragenden Jugendarbeit nicht so tief.
- Andreas Henne