Στη διάρκεια της παλιότερης ιστορίας της και πριν από την επέκταση, η Μονή είχε πολύ μικρότερο μέγεθος. Είχε αναπτυχθεί σταδιακά, στριμωγμένη πάνω σε μια σειρά τριών διαδοχικών υψίκορμων βράχων στην πλαγιά του βουνού, που έστεκαν όρθιοι και σχεδόν ανεξάρτητοι ο ένας από τον άλλον. Η διάταξη αυτή παρουσιάζεται στο σχέδιο του Ρώσου μοναχού – περιηγητή Βασιλείου Μπάρσκι, που εκπόνησε κατά το δεύτερο ταξίδι του στο Άγιον Όρος το 1744, ακόμα και σήμερα ορατή από την εξωτερική πλευρά της βόρειας πτέρυγας, απέναντι από τη βαθιά και απόκρημνη ρεματιά. Πάνω στον τρίτο βράχο, προς τα ανατολικά, στέκει ως σήμερα ο μεγάλος πύργος της μονής, ενώ ένας τέταρτος βράχος ανάλογου μεγέθους βρίσκεται λίγο πιο πέρα προς ανατολάς, έξω από τον περίβολο. Η πρώτη εγκατάσταση των μοναχών στα τέλη του 10ου αιώνα, όταν το ίδρυμα ήταν γνωστό ως «Ξηροποτάμου», ή «Μονή της Υπεραγίας Θεοτόκου του κυρού Παύλου», φαίνεται πως είχε γίνει στο μεσαίο βράχο, στην κορυφή του οποίου βρίσκεται σήμερα το παρεκκλήσι του Αγίου Γεωργίου, έργο του 16ου αιώνα. Το σημερινό μέγεθος του περιβόλου της Μονής είναι το αποτέλεσμα μιας πολύ μεγάλης επέκτασης, τα κτίρια της οποίας υλοποιήθηκαν με διαδοχικές ανακατασκευές καθ’ όλη τη διάρκεια του 19ου αιώνα και στα πρώτα χρόνια του 20ου. Ως τότε, το οικοδομικό συγκρότημα της μονής περιοριζόταν στην έκταση που καταλαμβάνει περίπου η βόρεια πλευρά του σημερινού περιβόλου, από τη βορειοδυτική γωνία ως τον πύργο. Η επέκταση άρχισε το 1816, με τη φροντίδα του αρχιμανδρίτη Ανθίμου Αγιοπαυλίτη με την κατασκευή του τείχους και της μεγάλης δυτικής πτέρυγας, η οποία περιλάμβανε νέα Τράπεζα και παρεκκλήσια, αλλά είχε τότε ξυλόπηκτους τους ανώτερους ορόφους της. Το 1819-20 είχε κτιστεί και το σημερινό κωδωνοστάσιο. Kατά την τελευταία δεκαετία του 19ου αιώνα έγιναν εκτεταμένες ανακατασκευές και προσθήκες στο βορειοδυτικό μέρος της μονής, από τον κτηριακό όγκο που περιέχει το παρεκκλήσιο του Αγίου Γεωργίου, στην κορυφή της βόρειας πτέρυγας, μέχρι και μετά το μέσον της δυτικής πτέρυγας. Τέλος, η δυτική και η νότια πτέρυγα καταστράφηκαν από πυρκαγιά το 1902 και στη συνέχεια ανακατασκευάστηκαν με τη μορφή που έχουν σήμερα. Τα έργα αυτά σχεδιάστηκαν και υλοποιήθηκαν με μία ακαδημαϊκή αρχιτεκτονική προσέγγιση, επηρεασμένα από τα εκλεκτικιστικά ρεύματα της εποχής τους, όπως συνέβαινε τότε σ’ όλες τις μονές του Αγίου Όρους. Αυτό είναι πιο πολύ αισθητό στο τελευταίο έργο των πρώτων χρόνων του 20ου αιώνα, όπου οι όψεις των κτιρίων που βρίσκονται γύρω από το πλάτωμα της εισόδου της Μονής σχεδιάστηκαν με ένα επιβλητικό, αλλά συγκρατημένο, λιτό και βαρύ κλασσικιστικό ύφος, ιδιαίτερα ο πυργοειδής όγκος πάνω από την είσοδο. Στα τέλη του πρώτου μισού του 15ου αιώνα χτίστηκε ένα νέο, τότε, καθολικό στη μονή, που τοιχογραφήθηκε το 1446/7 και αφιερώθηκε στη Θεοτόκο και στον Άγιο Γεώργιο. Ο ναός εκείνος βρισκόταν στην ανώτερη στάθμη ενός τριώροφου κτηρίου που προστέθηκε έξω από τη νότια πλευρά του προϋπάρχοντος συγκροτήματος, στο ισόγειο του οποίου διαμορφώθηκε τότε και η είσοδος της Μονής. Το τριώροφο κτίριο με το καθολικό του 15ου αιώνα επέζησε ως τα μέσα περίπου του 19ου αιώνα και παριστάνεται σε δύο πολύ αξιόπιστες απεικονίσεις, του 1744 και του 1835. Πρόσφατες ανασκαφές της Αρχαιολογικής Υπηρεσίας αποκάλυψαν τη νοτιοανατολική γωνία του κτηρίου στην αυλή της Μονής, στα βορειοδυτικά του σημερινού καθολικού. Το 1521/2 κτίστηκε ο μεγάλος πύργος της μονής και αποπερατώθηκε αργότερα, μέσα στον 16ο αιώνα. Αμέσως μετά τον πύργο πρέπει να έγινε και ο μικρός οχυρός περίβολος (μπαρμπακάς) μπροστά από την είσοδο του πύργου, στα δυτικά του. Από τον μπαρμπακά (που φαίνεται ολόκληρος στο σχέδιο του Μπάρσκι το 1744) σώζεται σήμερα ολόκληρο το βόρειο τείχος και κάποια υπολείμματα από το νότιο. Την ίδια περίπου εποχή, λίγο πριν από τα μέσα του 16ου αιώνα, πρέπει να διαμορφώθηκε και το διώροφο μικρό κτίριο με το παρεκκλήσι του Αγίου Γεωργίου πάνω στην κορυφή του βράχου, ενσωματώνοντας παλιότερες κατασκευές που υπήρχαν στην ίδια θέση. Το παρεκκλήσιο είναι κατάγραφο με τοιχογραφίες του 16ου αιώνα που μπορούν να χρονολογηθούν στο έτος 1552. Το μικρό φρούριο, που βρίσκεται στην παραλία, σε μικρή απόσταση από τον αρσανά της μονής, ανήκει και αυτό στα πρώιμα μεταβυζαντινά χρόνια (15ος -16ος αι.) και υλοποιήθηκε σε δύο τουλάχιστον φάσεις, ενώ ο πύργος του δεν αποκλείεται να είναι και παλιότερος. Στα τελευταία χρόνια του 17ου αιώνα ιδρύθηκε το πολυώροφο κτίριο που καταλαμβάνει σήμερα την βορειοδυτική γωνία της μονής, αλλά λίγο χαμηλότερο απ’ ότι σήμερα. To κτίριο περιλάμβανε τότε μία νέα Τράπεζα, της οποίας σώζεται μέχρι σήμερα ο νότιος τοίχος, ενσωματωμένος στα ανακαινιστικά έργα του τέλους του 19ου αιώνα. Σημειώνουμε, τέλος, το σύγχρονο κτίριο του Σκευοφυλακείου που προστέθηκε το 2015 στο βορειοανατολικό μέρος της αυλής του μοναστηριού, ανάμεσα στο καθολικό και τον πύργο.
