Dopo esperienze come assistente allenatore nel college football, nel 2013 Rhule fu assunto come capo-allenatore dei Temple Owls. Nel 2017 passò ad allenare i Baylor Bears, venendo premiato nel 2019 come allenatore dell'anno della Big 12 Conference. Il 7 gennaio 2020 fu assunto come quinto capo-allenatore della storia dei Carolina Panthers.[1]
Rhule è stato licenziato dopo cinque partite della stagione NFL 2022 ed è tornato al college football dopo la stagione 2022 come nuovo allenatore capo dei Nebraska Cornhuskers.