Στον αρχικό, βυζαντινό περίβολο της Μονής Ξενοφώντος φαίνεται ότι δεν είχε κτιστεί κάποιος μεγάλος οχυρός πύργος, ανάλογος των άλλων πολύ γνωστών αγιορειτικών παραδειγμάτων. Τα τείχη που περιέκλειαν τη Μονή ήταν απλά και υπήρχε μόνο ένας μικρός πύργος στη νοτιοανατολική γωνία του εξωτερικού περιβόλου, που προστάτευε την τότε είσοδο της Μονής, απειλώντας (από απέναντι) τα νώτα των επιτιθεμένων σ’ αυτήν.
Σήμερα, ως πύργοι της Μονής θεωρούνται δύο πυργόμορφα κτίσματα που δεσπόζουν στην είσοδο της Μονής, τα οποία σχηματίστηκαν σε μεταγενέστερες εποχές. Είναι ο πύργος του Αγίου Στεφάνου στο εσωτερικό και ο πύργος των Αγίων Αποστόλων στο εξωτερικό. Ο πύργος του Αγίου Στεφάνου είναι ο ψηλότερος από τους δύο.
