De club werd in 1908 opgericht als Lüdenscheider Fußball-Klub 08. Later nam de club de naam Sportfreunde 08 aan. In 1971 fuseerde de club met RSV Höh en nam de huidige naam aan. Zes jaar later promoveerde de club voor het eerst in zijn bestaan naar de 2. Bundesliga in de groep Noord. Na een dertiende plaats in het eerste seizoen eindigde Rot-Weiß op een degradatieplaats, maar doordat Westfalia Herne vrijwillig degradeerde en FC St. Pauli geen licentie kreeg werd de club voor degradatie behoed. In 1980 kon degradatie vermeden worden maar in 1981 kon deze niet meer afgewend worden en na vier jaar verliet Rot-Weiß de tweede klasse om er nooit meer terug te keren. In 1983 werd de club gedeeld kampioen met Eintracht Heessen, maar moest de titel aan Heessen laten wegens een slechter doelsaldo. Hierna verzeilde de club in de middenmoot tot een degradatie volgde in 1988. Van 1990 tot 1993 en van 1994 tot 1997 speelde Rot-Weiß opnieuw in de Oberliga Westfalen. Na de herinvoering van de Regionalliga in 1994 was dit echter nog maar de vierde klasse. Na de laatste degradatie in 1997 zakte de club verder weg. In 2009 degradeerde de club naar de Bezirksliga, de achtste klasse.
