Am Ort der heutigen Abtei wurde im 3. Jahrhundert n. Chr. eine römische Badeanlage errichtet. Auf deren Reste erbaute der fränkische Diakon Grimo-Adalgisel Anfang des 7. Jahrhunderts eine Kirchenanlage, die er 634 dem Bischof von Verdun übereignete.

Um 750 wird die Kirche durch eine rechteckige Choranlage erweitert. Vermutlich beginnt um diese Zeit das benediktinische Klosterleben in Tholey. 1260 begann der Bau der heute bekannten, frühgotischen Abteikirche. Portal, der mächtige Westturm und einige Lichtgadenfenster wurden von der romanischen Bauanlage übernommen. Um 1302 ist das Bauwerk vollendet und dient als Abtei und Wallfahrtskirche.

Während der Wirren des Dreißigjährigen Krieges (1618 - 1648) wurde die Abtei von Brand und Plünderung heimgesucht.
Im Jahr 1487 trat die Abtei Tholey der Bursfelder Kongregation bei und erlebte eine Blütezeit, die 1794 durch Brandschatzung und Plünderung durch französische Revolutionstruppen ein Ende fand. Die Abtei wurde aufgehoben und 1798 wurden Kirche und Abteigebäude versteigert. 1806 erwarb ein Tholeyer Bürger die noch erhaltenen Gebäude und schenkte sie der Gemeinde als Pfarrkirche und Wohnung für den Pfarrer. Seitdem ist die Tholeyer Abteikirche zugleich auch die Pfarrkirche der Gemeinde Tholey.

Am 8. 12. 1949 wurde die Abtei durch Papst Pius XII. wiedererrichtet und neu besiedelt.
Sehenswert sind auch die barocke Oberlinger Orgel mit 43 Registern sowie das barocke Chorgestühl aus dem Jahr 1704.