Минерални бани е прекрасен курорт, не само заради топлата минерална вода, но и за интересните археологически паметници в околностите му. Гордостта на тукашните жители е крепостта „Свети Дух”, намираща се в непосредствена близост до центъра на селището. 

На нея са извършени дългогодишни археологически разкопки, а останките й са реставрирани. Сегашното наименование идва от изградения на невисокия хълм параклис „Свети Дух”, където местните християни са се събирали на събор векове наред. Има обаче основания да се смята, че това е може би средновековното укрепление „Топлицос”, споменато от византийските хронисти Михаил Аталиат, т. нар. продължител на Скилица. Според тяхната информация тук бил даден отпор на воинственото племе на печенезите, атакували през 11 век Византийската империя. Крепостта е създадена още през 2-3 век, като звено в защитата на Римската империя срещу зачестилите варварски нашествия. Тогава тя има каменни стени с план на многоъгълник. Днес на някои места те са запазени до 3 метра височина. По тях има и четири мощни кули с план на правоъгълник. В древното укрепление се влиза през главната порта от юг, но през стените от изток и запад може да се премине през още два по-малки входа - потерни. „Свети Дух” е типична военна крепост и вътре няма много постройки. Това са най-вече жилищни, стопански и казармени помещения. Една от сградите е по-представителна и вероятно е представлявала жилището на коменданта. Жизнено важното снабдяване с вода е решено чрез изградена в южната част на укпеплението цистерна. Известно е, че в дълбочина лежи и римска баня за минерална вода, която на този етап не е разкрита поради липса на средства.