Αφού το μοναστήρι του προόδευσε, οδηγημένος από «πόθο ησυχίας» ο όσιος Παύλος πήγε να εγκατασταθεί στην σημερινή θεση της Ιεράς Μονής του Αγίου Παύλου, στους πρόποδες του Άθωνα. Γρήγορα δημιουργήθηκε πάλι γύρω του ένας κύκλος μαθητών. Το μονύδριο που ίδρυσε ήταν αφιερωμένο στην Θεοτόκο. Μετά την κοίμησή του, μάλλον στα τέλη του 10ου αιώνα, το ίδρυμα ήταν γνωστό ως «Ξηροποτάμου» ή «Μονή της Υπεραγίας Θεοτόκου του κυρού Παύλου» και φαίνεται πως είχε γίνει στο μεσαίο βράχο από τους τρεις, στην κορυφή του οποίου βρίσκεται σήμερα το παρεκκλήσι του Αγίου Γεωργίου, έργο του 16ου αιώνα.
