Το κάστρο αρχικά είχε έκταση 4 στρέμματα, από τα οποία το 25% τα καταλάμβανε το Δεσποτικό, δηλαδή η κατοικία του άρχοντα. Τα σπίτια στον αρχικό πυρήνα του κάστρου σχηματίζουν ένα μικρό ορθογώνιο γύρω από την κεντρική πλατεία. Στη δυτική πλευρά της πλατείας βρισκόταν το Δεσποτικό. Η είσοδός του γινόταν από τη νότια πλευρά.
Στη συνέχεια προστέθηκε μια σειρά σπιτιών με διαστάσεις 40 επί 55 μέτρα στο ανατολικό άκρο του οικισμού. Έπειτα προστέθηκε μια επιπλέον σειρά στη νότια πλευρά, με αποτέλεσμα το εμβαδόν του κάστρου να φτάσει τα 12 στρέμματα. Η κύρια είσοδος του Κάστρου ήταν μια πύλη στην ανατολική άκρη της νότιας πλευράς και οδηγεί σε καλυμμένο πέρασμα μήκους 7 μέτρων και 2,5 μέτρων πλάτους. Το Κάστρο διαθέτει συνολικά έξι τέτοιες πύλες-στοές, γνωστές ως λότζιες.
Στην περίμετρο του Κάστρου βρίσκονται τριώροφα κτίρια με λίγα ανοίγματα στους εξωτερικούς τοίχους, συνήθως παράθυρα σε μεγάλο ύψος ή πόρτες που οδηγούν σε αποθήκες. Τα κτίρια έχουν μικρές διαστάσεις, με εμβαδόν συνήθως 30 τετραγωνικά μέτρα, και έχουν ένα ή δύο διαμερίσματα με ένα δωμάτιο. Όταν το κτίριο έχει δύο διαμερίσματα, το ένα είναι προσβάσιμο από το δρόμο ενώ το άλλο μέσω ξύλινης σκάλας.
Τα σπίτια ακολουθούν το ανάγλυφο του λόφου, δίνοντας στον οικισμό οβάλ σχήμα.
Στο Κάστρο, και συγκεκριμένα στον μεσαιωνικό πυρήνα του, βρίσκεται το Αρχαιολογικό Μουσείο Σίφνου. Το μουσείο άρχισε να λειτουργεί το 1986. Οι συλλογές του περιλαμβάνουν γλυπτά, κεραμικά και νομίσματα της αρχαιότητας και της ρωμαϊκής εποχής.
Μέσα στο Κάστρο επίσης βρίσκονται μάρμαρα, κολώνες και σαρκοφάγοι οι οποίες χρονολογούνται από την αρχαιότητα.