הלהקה הוקמה בנובמבר 1996 בידי גלן מורטן נורדבה, ארילד כריסטנסן וסטיג יוהנסן. הלהקה נקראה בהתחלה "Purgatory" (כור המצרף) אך כעבור זמן קצר החליטו לשנות את שמם לשם פחות נפוץ. אניטה אוגלנד ואולה אארסטד הצטרפו ללהקה זמן קצר לאחר מכן. את הדמו הראשון שלהם "All Alone" הם הקליטו בחודשי ינואר ופברואר של שנת 1997. אנדרס תיו ואינגפריד סטנסלנד הצטרפו ואז הקליטה הלהקה את הדמו השני "Silent Pain" בינואר 1998. פיט יוהנסן ניגן בכינור בדמו זה, למרות שעדיין לא היה חבר רשמי בלהקה. הוא הצטרף ללהקה להקלטת אלבומה המלא הראשון "Lake of Sorrow" ב-1998. אחרי הקלטת האלבום הלהקה קיימה מסע הופעות ברחבי אירופה. אחרי המסע הקליטה בשנת 2000 את האלבום השני שלהם "Perpetual Desolation". דיסק ווידאו של הופעה חיה שלה הופץ ב-2001 אך לא זכה לתפוצה כלל עולמית ולכן קשה להשיגו. גם בעקבות אלבום זה יצאה הלהקה למסע הופעות אך המסע היה מתיש וגרם לאניטה אוגלנד, אנדרס תיו ואינפגריד סטנסלנד לעזוב את הלהקה ב-2001. בעקבות עזיבתם של השלושה, הלהקה הקפיאה את פעילותה, ואילו פיט יוהנסן עזב לנגן בכינור עבור טריסטניה ומאוחר יותר סירניה. הלהקה ניסתה לחדש את פעילותה ב-2005 וב-2007 היו שמועות שאניטה חזרה ללהקה, אך היא עדיין נשארה לא פעילה וב-2008 התפרקה סופית.
סגנון המוזיקה של The Sins of Thy Beloved אופייני למטאל הגותי הסקנדינבי. The Sins of Thy Beloved מושוות לעיתים קרובות ללהקות מטאל גותי אחרות דוגמת טריסטניה ו-Theatre of Tragedy, בעיקר בגלל שהלהקה משלבת זמרת סופרן נשי עם גרואלינג גברי, שילוב שנפוץ במטאל הגותי וידוע כ"שירת היפה והחיה". המוזיקה של הלהקה משלבת מקצבים וריפים של דום-דת' ודת' מטאל לצד שימוש אינטנסיבי בכינור, בעיקר באלבום Lake of Sorrow. השימוש בשירת היפה והחיה בליווי כינור וקלידים מאפיין להקות מטאל גותי רבות מנורווגיה. ההופעות החיות שלהם יותר קרובות לדת' מטאל מאשר ההקלטות באולפן, בהן משתמשים באפקטים נוספים ועיבודים שאי-אפשר לעשות בהופעה חיה (יותר כלים קלאסיים, מקהלות וכו').