Löw har framförallt varit verksam utomlands i bland annat Österrike och Turkiet. Hans första tränarjobb förde Löw till Schweiz där han tillsammans med en kollega tog hand om FC Winterthurs A-ungdomslag samtidigt som han spelade för klubbens seniorlag i den schweiziska Nationalliga B. 1994 bytte Löw till FC Frauenfeld i förstaligan där han blev huvudtränare. Samtidigt började han en tränarutbildning som han dock inte avslutade.
Anledningen till den avbrutna utbildningen var ett erbjudande från VfB Stuttgarts nya tränare Rolf Fringer (1995), som erbjöd Löw jobbet som assisterande tränare. Målet för säsong 1995/96 var en plats i Uefa Europa League. Stuttgart slutade dock endast på 10:e plats i Bundesligan och tränare Fringer fick gå. 14 augusti 1996 endast fyra dagar innan säsongsstart tog den assisterande tränaren Löw över VfB Stuttgart som huvudtränare. Efter sex matcher utan förlust i början av serien utnämndes Löw 1996-09-21 som huvudtränare av dåvarande VfB-ordföranden Gerhard Mayer-Vorfelder. Löws VfB Stuttgart förlorade visserligen första matchen mot outsidern Fortuna Düsseldorf, men klubben avslutade säsongen med en 4:e plats i ligan och vann tyska DFB-cupen.
2004 blev han assisterande förbundskapten för det tyska landslaget då Jürgen Klinsmann tog över som förbundskapten. De ledde Tyskland framgångsrikt till VM-brons på hemmaplan 2006. Klinsmann avgick efter turneringen och Löw blev då ny förbundskapten. Löw ledde Tyskland till guld i VM 2014. I VM 2018 vann tyskarna dock bara en match (mot Sverige) och lämnade turneringen efter gruppspelet, men Löw skyllde inte ifrån sig utan menade att hans lag inte förtjänade bättre.[1]