Andersson begon zijn loopbaan als prof bij Malmö FF in 1989. Via een seizoen bij Blackburn Rovers (1992/93) kwam de verdediger terecht bij Borussia Mönchengladbach. Na zes seizoenen vertrok hij in 1999 naar Bayern München, waar Andersson de landstitel (2000, 2001) en de UEFA Champions League (2001) won. Hij maakte slechts één competitiedoelpunt in zijn periode bij Bayern, maar dat was een zeer belangrijke goal. Door zijn treffer op de laatste speeldag van het seizoen 2000/01 tegen Hamburger SV speelde Bayern met 1-1 gelijk en bleef zo Schalke 04 net voor in de strijd om de titel.
In de zomer van 2001 vertrok Andersson naar FC Barcelona. Mede door diverse blessures kwam hij maar weinig in actie voor de Catalaanse club. Begin 2004 keerde hij terug bij Malmö FF, waar hij in augustus 2005 zijn carrière als profvoetballer beëindigde.
Andersson speelde 96 interlands voor de Zweedse nationale ploeg. Hij behaalde met Zweden op het EK 1992 en het WK 1994 de halve finale. Daarna was Andersson ook actief op het EK 2000 en het WK 2002. Hij maakte zijn debuut voor de nationale ploeg op 29 januari1992 in een oefenduel in Adelaide tegen Australië (1-0), net als doelman Jonnie Fedel (Malmö FF). Andersson vertegenwoordigde zijn vaderland eveneens bij de Olympische Spelen van 1992 in Barcelona, waar de ploeg onder leiding van bondscoach Nisse Andersson in de kwartfinales uitgeschakeld werd door Australië (1-2).