Han gjorde sin seniordebut för Hull City i januari 1996. I april 1997 köptes Carroll av Wigan för vad som då var den högsta summa Wigan lagt på ett spelarköp.[1]
Efter fyra framgångsrika säsonger med Wigan köptes han 2001 av Manchester United. De första säsongerna fick Carroll begränsat med speltid då Fabien Barthez var klubbens givna förstaval i målet. När Barthez lämnade United 2003 hade klubben köpt Tim Howard, som Carroll fick konkurrera med. Howard och Carroll spelade mer eller mindre växelvis fram till slutet av säsongen 2004/2005, varefter Carroll lämnade klubben, detta på grund av ett uteblivet löfte om att bli uttalad förstemålvakt vid en kontraktsförlängning.
Carroll gjorde 2023, nästan trettio år efter att han lämnat klubbens ungdomslag för att pröva lyckan i England, seniordebut för Ballinamallard United, detta för att hjälpa klubben som vid tillfället hade skadeproblem bland sina målvakter.[2]