L’església de Sant Antoni, en el centre de la localitat i molt pròxima al port, és la segona més antiga de l’illa, després de la Catedral de Santa Maria de les Neus, a la capital. La construcció va ser autoritzada per l’arquebisbat de Tarragona el 1305, tan sols 70 anys després de la conquesta cristiana de l’illa, que havia estat territori musulmà durant segles. El nou temple va ser concebut amb dos objectius fonamentals: servir com a lloc de culte i exercir de sòlida fortalesa davant les invasions dels corsaris barbarescos. La primera versió de l’església es va aixecar al llarg del segle XIV i es va reformar al XVI.
La torre de defensa situada a la capçalera del temple, de planta poligonal i amb merlets en algun dels seus costats, es va aixecar en el segle XVII i va arribar a estar armada amb dos canons, que es varen utilitzar per última vegada el 1818, amb l’objectiu de tractar d’enfonsar dos naus de contrabandistes de Gibraltar.
Quan els guaites albiraven corsaris enemics, encenien fogueres per a alertar a la població, que corria a refugiar-se al seu interior. Per aquesta raó, el temple no té finestres. Antany, les portes eren de ferro, perquè l’enemic no pogués incendiar-les, i una gruixuda biga les bloquejava per dins. A l’interior del recinte eclesiàstic fins i tot existia un pou d’aigua potable, per si el tancament es prolongava.
L’església compta a més amb una part exterior coberta, el porxet, i un ampli pati on els habitants del municipi intercanviaven novetats a la sortida del culte.
