Η Χώρα της Ανάφης είναι χτισμένη ψηλά , αμφιθεατρικά σε υψόμετρο 260μ πάνω από το λιμάνι, γραφική , κάτασπρη και πανέμορφη.
Ο αρχικός πυρήνας ήταν το ενετικό Κάστρο , η καρδιά του χωριού και σήμερα στενά σοκάκια οδηγούν στα θολωτά σπίτια γύρω γύρω .
Είναι ένας παραδοσιακός οικισμός και γιαυτό η μετακίνηση όλων γίνεται με τα πόδια αφού δεν είναι δυνατό να την διασχίσουν τροχοφόρα.
Διάσπαρτες είναι χτισμένες οι ναοί του Αγ. Νικολάου, της Κοίμησης της Θεοτόκου, του Αγίου Χαραλάμπους, του Χριστού του Σταυρού ,των Αγίων Ανάργυρων και του Αγίου Γεωργίου στην κορυφή του κάστρου με πολύ όμορφες βυζαντινές εικόνες.