Τα σπίτια του είναι χτισμένα αμφιθεατρικά, γύρω από τα ερείπια του Ενετικού κάστρου, εξασφαλίζοντας μια υπέροχη θέα. Το επίσημο όνομα του είναι Πύργος Καλλίστης και το παλαιότερο Καινουργιομπούργο. Το «καστέλι» του χωριού διατηρείται σε καλή κατάσταση και είναι επισκέψιμο. Η είσοδος γίνεται από ένα και μοναδικό σημείο, την «Πόρτα». Πάνω από αυτήν προεξείχε -γύρω στο μισό μέτρο- τετράγωνο κτίσμα, ανοικτό στο κάτω μέρος του, από το οποίο μπορούσαν να ρίχνουν καυτό λάδι στους εισβολείς, που προσπαθούσαν να παραβιάσουν την είσοδο. Το κτίσμα αυτό, το οποίο σήμερα δεν υπάρχει, το αποκαλούσαν «πολεμίστρα» ή «φόνισσα». Κάτω από το «καστέλι» υπήρχε σύστημα στοών, το οποίο χρησίμευε για την προστασία και τη διαφυγή των κατοίκων σε ώρα ανάγκης.

 

Εκτός από το «καστέλι», ο επισκέπτης αξίζει να βρεθεί στο Μοναστήρι του Προφήτη Ηλία -4 χιλιόμετρα νότια από το χωριό-, στην κορυφή του βουνού. Το μοναστήρι αυτό χρονολογείται από τον 18ο αιώνα και διαθέτει πολλά ιερά κειμήλια, όπως η χρυσοποίκιλτη μίτρα του Πατριάρχη Γρηγορίου του Ε΄, πολύτιμα σκεύη, ασημοποίκιλτους σταυρούς και εικόνες -μερικές από τις οποίες χρονολογούνται από τον 15ο αιώνα. Από το μοναστήρι μπορεί κανείς να δει σχεδόν ολόκληρο τη Σαντορίνη.

 

Στη θέση Μαρτίνου, στον παλιό δρόμο από τον Πύργο προς το μοναστήρι του Προφήτη Ηλία βρίσκεται η παλιά αίθουσα της πρώτης Σχολής του νησιού, που έγινε με πρωτοβουλία του ηγουμένου της Μονής και των προκρίτων της περιοχής. Η σχολή αυτή ιδρύθηκε τον 18ο αιώνα και σημαντική συμβολή στη λειτουργία της είχε ο Κωνσταντίνος Μουρούζης. Στον Πύργο υπάρχει, ίσως, η πιο παλαιά εκκλησία του νησιού, αφιερωμένη στην Παναγία με το ιδιόμορφο επωνύμιο «Θεοτοκάκι», η οποία κτίστηκε τον 10ο αιώνα. Τέλος, ο Πύργος διαθέτει ένα τα πιο πλήρη λαογραφικά μουσεία της Σαντορίνης, με αντικείμενα της καθημερινής ζωής περασμένων εποχών.

Ο Άγιος Γεώργιος χτίστηκε το 1754 και βρίσκεται σε απόκρυμνη πλαγιά απέναντι από τον Πύργο, στο βουνό του Προφήτη Ηλία. Ονομάζεται και Καταφυό γιατί αποτελούσε το καταφύγιο των κατοίκων σε εχθρικές επιδρομές, λόγω της δύσβατης πρόσβασης σε αυτό.

Στην πλατεία πριν την είσοδο του καστελιού υπάρχει ο ναός του Αγίου Νικολάου, ο οποίος έχει κτιστεί το 1660.