Το Χωριό, χτισμένο στους πρόποδες του Ξαπλοβουνιού, έχει μεγάλη έκταση και διακρίνεται σε δύο τμήματα: Ο παλιότερος οικιστικός πυρήνας είναι το μεσαιωνικό κάστρο, του 14ου ή 16ου αιώνα, με τετράγωνο σχήμα, που αποτελείται από δύο συγκροτήματα σπιτιών (το ένα περικλείει το άλλο) και μια μικρή σειρά σπιτιών στο κέντρο, πλάι στην οποία σχηματίζεται μικρή πλατεία και υπάρχει ο Ναός Της Γεννήσεως Του Χριστού. Τα σπίτια είναι χτισμένα με τη σκληρή πέτρα της περιοχής (σιδερόπετρα), ενώ υπάρχουν διακοσμητικές λεπτομέρειες από «πώρι». Υπήρχαν 123 διώροφα σπίτια και φιλοξενούσαν άλλη οικογένεια στον όροφο (ανωγάρηδες) και άλλη στο ισόγειο (κατωγάρηδες).
Το Μέσα Κάστρο είναι σήμερα ερειπωμένο. Το Έξω Κάστρο αποτελείται από μια σειρά σπιτιών, ο εξωτερικός τοίχος των οποίων αποτελούσε ταυτόχρονα και το τείχος, του αμυντικού στη λειτουργία του, κάστρου. Σε πολλά σπίτια υπάρχουν υπέρθυρα με οικόσημα και χρονολογίες. Ανάμεσα στις δυο σειρές σπιτιών υπήρχε δρόμος περιμετρικός, στενός τόσο που να χωράει μόνο μικρά κάρα. Το Έξω Κάστρο έχει δυο πύλες: την Κάτω Πόρτα στα νότια, στο δρόμο της Αγοράς και την Πάνω Πόρτα στην ανατολική πλευρά, δίπλα στην οποία βρίσκεται σήμερα το Λαογραφικό και Ναυτικό Μουσείο. Οι πύλες φέρουν χρονολογίες οι οποίες αφορούν επισκευή τους (1650 και 1646 αντίστοιχα), μετά από πειρατική επίθεση το 1638, οπότε το Κάστρο πυρπολήθηκε. Τότε ενισχύθηκε το Κάστρο με περισσότερους πύργους. Σήμερα στα σπίτια της εξωτερικής σειράς έχουν ανοιχτεί πόρτες και παράθυρα προς τα έξω. Στο Μέσα Κάστρο υπάρχουν 2 είσοδοι.
Ίσως από το 17ο αιώνα ο οικισμός είχε επεκταθεί έξω από το Κάστρο αλλά η μεγάλη ανάπτυξή του, συνέβη μετά την απελευθέρωση της Ελλάδας από τους Τούρκους. Κατά κανόνα όσο πιο κοντά στο Κάστρο βρίσκεται ένα σπίτι, τόσο παλιότερο είναι.
