Κατά το μεγαλύτερο μέρος της ιστορίας του το Μοναστήρι είχε πολύ μικρότερο μέγεθος. Αναπτύχθηκε σταδιακά, στριμωγμένο πάνω σε μια σειρά τριών διαδοχικών ψηλών βράχων που ορθώνονταν στην πλαγιά του βουνού, σχεδόν ανεξάρτητοι ο ένας από τον άλλον. Η διάταξη αυτή παρουσιάζεται στο σχέδιο του ρώσου μοναχού – περιηγητή Βασιλείου Μπάρσκι, που εκπόνησε κατά το δεύτερο ταξίδι του στον Άγιον Όρος το 1744, αλλά είναι ακόμα και σήμερα ορατή από την εξωτερική πλευρά της βόρειας πτέρυγας, απέναντι από τη βαθιά και απόκρημνη ρεματιά. Ο Μπάρσκι, μάλιστα, σημειώνει στο ημερολόγιό του πως η αρχιτεκτονική διάταξη της Ιεράς Μονής του Αγίου Παύλου δεν μοιάζει με κανενός άλλου αγιορείτικου μοναστηριού. Πάνω στον τρίτο βράχο, προς τα ανατολικά, στέκεται ακόμη ο μεγάλος πύργος της μονής, ενώ ένας τέταρτος βράχος ανάλογου μεγέθους βρίσκεται λίγο πιο πέρα, ανατολικά και έξω από τον περίβολο.
