Sharp inledde karriären i Dumbarton innan han 1980 värvades av Everton för 120 000 pund. Han var en anfallare med starkt huvudspel och bra bollkontroll som främsta egenskaper. Han var bra på att hålla i bollen och skapa målchanser inte bara för sig själv, utan även för sina medspelare. Totalt gjorde Sharp 159 mål på 426 matcher för Everton, vilket gör honom till klubbens bäste målskytt efter andra världskriget. Han var med om att bli ligamästare 1985 och 1987 samt att vinna FA-cupen 1984 (där han gjorde ett av målen i finalen) och Cupvinnarcupen 1985.
1991 såldes han till Oldham Athletic för 500 000 pund. Tre år senare blev han spelande tränare, men 1997 sade han upp sig och tränade Bangor City fram till 1998. Sharp arbetar i dag på lokalpressen i Liverpool samt på en radiostation i nordvästra England.
Sharp spelade även tolv landskamper för Skottland 1985–1988 och var med i VM i Mexiko 1986, där han spelade en match.