Odchovanec severomakedonského Kavadarci se přes Napredok Kičevo, Rabotnički Skopje a Renovu Džepčište dostal do německého druholigového klubu Wacker Burghausen. Z tohoto týmu si ho pak do kádru přivedl FK SIAD Most, kde v podzimní části sezony 2007/08 vstřelil během 13 zápasů 8 branek. Tyto výkony nezůstaly bez povšimnutí a ještě v prosinci 2007 přestoupil Goce Toleski do Slavie Praha. Třemi góly v jedenácti zápasech se podílel na zisku mistrovského titulu na jaře 2008, ve stejném období byl vyhlášen nejlepším cizincem Gambrinus ligy. Mistrovský titul mohl oslavit i o rok později, byť jarní část sezóny strávil na hostování v Olomouci, kde se mu dařilo daleko méně. V létě 2009 Slavia oznámila, že s jeho službami dále nepočítá a že si může hledat jiné angažmá. Na podzim 2009 se však výkony slávistického áčka pohybovaly v neuspokojivých mezích a tak byl Toleski povolán zpět do prvního mužstva. V zimě ovšem zamířil do makedonského klubu Renova Džepčište. Do České republiky se vrátil krátce na podzim 2010, kdy epizodně hostoval v Mladé Boleslavi. Kariéru ukončil v klubu FK Ohrid 2004.
Do severomakedonské reprezentace byl poprvé povolán v roce 2002. V A-mužstvu Severní Makedonie debutoval 17. 4. 2002 v přátelském utkání v Prilepu proti týmu Finska (výhra 1:0). Celkem odehrál v národním A-týmu 18 zápasů a vstřelil 1 gól.[1]