Efter ett antal säsonger i amatörklubben Renato Curi Angolana (Città Sant'Angelo i provinsen Pescara), debuterade Grosso som proffs i Chieti i Serie C2. 2001 köptes han till Perugia i Serie A. Första landskampen gjorde han 2003. 2004 flyttade Grosso till Palermo, då låg det sicilianska laget i Serie B. Grosso värvades av Inter för € 5 500 000 den 6 juni2006, men efter en mindre lyckad säsong i klubben släpptes han till franska Ligue 1-klubben Lyon sommaren 2007. Under sommaren 2009 värvades Grosso av den italienska klubben Juventus.
Grosso är vänsterback men kan också spela till vänster på mittfältet. Den 9 juli 2006 avgjorde Fabio Grosso VM i fotboll då han slog in den femte och avgörande straffen för Italien och ledde dem till deras fjärde VM-guld genom tiderna.
Den 21 juni 2018 tog Grosso över som huvudtränare i Hellas Verona.[1] Den 5 november 2019 tog han över som tränare i Brescia.[2] Efter mindre än en månad i klubben blev Grosso den 2 december 2019 avskedad.[3]
Den 25 augusti 2020 blev Grosso anställd som ny huvudtränare i schweiziska FC Sion.[4] Den 5 mars 2021 blev han avskedad.[5] Den 23 mars 2021 blev Grosso anställd som ny huvudtränare i Serie B-klubben Frosinone som ersättare till Alessandro Nesta.[6]