Ծնվել է Շրոփշիր կոմսությունում գտնվող Տոնգա քաղաքում։ Նա բարոնետ Ջոն Սմիթի ընտանիքի ավագ զավակն էր։ Կրթությունն ստացել է Փարիզի մենաստանում։ 1775 թվականին ամուսնացել է հարուստ կաթոլիկ Ուելդի հետ, որը հարսանիքից ընդամենը երեք ամիս անց մահացել է` նախքան կտակ կազմելը։ Չունենալով ապրուստի միջոց՝ Ֆիցհերբերտն ստիպված է եղել նոր ամուսնություն փնտրել և երեք տարի անց ամուսնացել է Ջեյմս Ֆիցհերբերտի հետ։ 1781 թվականին նա այրիացել է։ Շուտով նրան հաջողվել է ընկել Լոնդոնի բարձր հասարակություն, իսկ 1784 թվականին ծանոթացել է արքայազն Գեորգի հետ, որը վեց տարով երիտասարդ էր նրանից։
Սիրահարվելով նրան՝ արքայազնը 1785 թվականին գաղտնի պսակադրվել է` անտեսելով Ֆոքսի խորհուրդը, որը մատնանշել է այս ամուսնության անօրինականությունն ու անհարմարությունը գահաժառանգի համար, մանավանդ, որ Ֆիցհերբերտը կաթոլիկ էր։ Երբ այս ամուսնության մասին հարցը ծագել է խորհրդարանում, Գեորգը հերքել է դրա գոյությունը և, հնազանդվելով հոր պահանջներին, ամուսնացել Կարոլինա Բրաունշվայգցու (1795) հետ, որից շուտով բաժանվել և Ֆիցհերբերտի հետ ապրել է ևս 10 տարի. վերջնականապես նրա հետ հարաբերությունները խզվել են 1806 թվականին։ Նրա մահից հետո՝ 1804 թվականից ի վեր, նա ապրել է Քեմփթաուն քաղաքի Սբ. Հովհաննես եկեղեցու մոտ և Վիլհելմ IV-ից ստացել կենսաթոշակ, որը նրան մեծ հարգանքով է վերաբերվել։ Ըստ որոշ տեղեկությունների՝ նա թագավորից երկու երեխա է ունեցել, սակայն դա ապացուցված չէ։