Το Κάστρο είναι η παλιά πρωτεύουσα της Σίφνου και η έδρα της Αρχιεπισκοπής Σίφνου (6ο-19 ο αι). Από τους γραφικότερους, ομορφότερους και ο πιο σημαντικός από τους οικισμούς του νησιού από αρχαιολογική άποψη.Πρόκειται για το αρχαίο «άστυ» που αναφέρει ο Ηρόδοτος και που ήκμασε τον 6ο π.Χ. αι., με ναό και θέατρο του Διονύσου και πολυτελή μαρμάρινα δημόσια κτήρια. Κατοικείται αδιάκοπα από τους προϊστορικούς χρόνους (πρώτη εγκατάσταση στο λόφο την 3η χιλιετία π.Χ.) έως σήμερα.
Το όνομα του χωριού προέρχεται από το «κάστρο» που σχηματίζουν τα κτήρια του. Ο οικισμός έχει ελλειψοειδή μορφή, γιατί ακολουθεί τη μορφολογία του εδάφους, έχει αμυντικό χαρακτήρα και διατηρεί αναλλοίωτη την οικοδομική οχυρωματική μεσαιωνική (ενετική) μορφή του. Διακρίνουμε δύο αμυντικούς δακτυλίους από κτήρια το ένα χτισμένο κολλητά με το άλλο, με τα αρχοντόσπιτα στον εσωτερικό δακτύλιο για μεγαλύτερη προστασία και τα λαϊκά σπίτια στον εξωτερικό δακτύλιο.
Τα ερείπια της αρχαίας ακρόπολης που δέσποζε στην κορυφή του λόφου( 6ου π.Χ. αιώνα), οι εντειχισμένες στα νεότερα κτήρια αρχαίες κολώνες, οι ρωμαϊκές σαρκοφάγοι που συναντάμε στα σοκάκια, οι έξι «λότζιες» (πύλες στοές από τις οποίες εισερχόμαστε στον οικισμό), τα εκκλησάκια του 16ου και του 17ου αι. με τα διακοσμημένα δάπεδα και πολλές άλλες λεπτομέρειες. καθιστούν το Κάστρο ένα ανοιχτό μουσείο.
Στο ψηλότερο σημείο του χωριού βρίσκεται το κτήριο της παλιάς καθολικής καθεδρικής εκκλησίας και εκεί κοντά σώζεται ως σήμερα η στήλη με την επιγραφή του Γιαννούλη Ντα Κορώνια από τον 14ο αιώνα. Στο κέντρο του χωριού συναντάμε Το Αρχαιολογικό Μουσείο Σίφνου με εκθέματα (κυρίως γλυπτά και νομίσματα) από την προϊστορική μέχρι και τη ρωμαϊκή εποχή.
Ανατολικά του Κάστρου το γραφικό ξωκλήσι των «Εφταμάρτυρων» πάνω στο βράχο και η άπλετη θέα στο πέλαγος είναι μαγευτικά. Βορειότερα το αρχαίο μονοπάτι οδηγεί στην Παναγιά την Πουλάτη, χαρακτηρισμένο τοπίο «απείρου κάλλους». Η Πουλάτη όπως και οι 'Επταμάρτυρες' είναι ιδανικά μέρη για βουτιές από τα βράχια. Δυτικά του χωριού και κάτω από τους πρόποδες του λόφου του Κάστρου υπάρχει μια μικρή παραλία με βότσαλα (αρχαίο λιμάνι του νησιού) με το όνομα Γιαλός ή «Σεράλια» από τα σεράγια (=παλάτια) που υπήρχαν παλιά στην περιοχή.
Στο Κάστρο λειτούργησε το πρώτο γνωστό σχολείο του νησιού (αρχές του 17ου αιώνα) καθώς και η φημισμένη Σχολή του Παναγίου Τάφου γνωστή και ως «Παιδευτήριο του Αρχιπελάγους» (από τα μέσα του 17ου αι.) στη θέση που σήμερα βρίσκονται οι δίδυμες εκκλησίες Άγιος Στέφανος και Άγιος Γιάννης ο Καλυβίτης. Από ‘κει αποφοίτησαν σπουδαίοι δάσκαλοι και ιερείς, ο Νικόλαος Χρυσόγελος (μετέπειτα δάσκαλος στην ίδια σχολή και πρώτος υπουργός Παιδείας του Σύγχρονου Ελληνικού κράτους), σαράντα οχτώ μητροπολίτες και δύο οικουμενικοί Πατριάρχες.
Το Κάστρο σήμερα διαθέτει λίγα ενοικιαζόμενα δωμάτια, ταβέρνες, ζαχαροπλαστεία, καφενεία και μπαράκια ενώ η παραλία του (Σεράλια) ψαροταβέρνες.
