Mario Yepes startade sin karriär när han spelade för sin stads fotbollsklubb tills han senare blev skickad till Deportivo Cali från Cortulua år 1994. Han vann två colombianska mästerskap med Deportivo Cali. Efter detta började hans kändisskap i hemlandet växa till sig. År 1999 började han spela för den argentinska fotbollsklubben CA River Plate. I denna klubben blev han en stor stjärna och vann två argentinska mästerskap. Flera italienska och engelska fotbollsklubbar ville köpa honom, men han valde att skriva på konrakt för FC Nantes Atlantique i januari 2002. Det var då han fick smeknamnet El Rey.
