Η Ιερά Μονή Καρακάλλου συγκαταλέγεται μεταξύ των Μονών που ιδρύθηκαν κατά τα πρώτα πενήντα χρόνια από την εμφάνιση του οργανωμένου κοινοβιακού βίου στον Άθω, συμπίπτοντας χρονικά με την παρουσία του Αγίου Αθανασίου του Αθωνίτη και την ίδρυση της Ιεράς Μονής Μεγίστης Λαύρας.
Η προέλευση της ονομασίας της Μονής παραμένει αδιευκρίνιστη, γεγονός που οδήγησε στη δημιουργία ποικίλων θρύλων. Το 1677, ο Άγγλος περιηγητής J. Covel κατέγραψε τον θρύλο πως ιδρυτής της υπήρξε ο εθνικός ρωμαίος αυτοκράτορας του 3ου αιώνος Αντώνιος Καρακάλλας. Την άποψη αυτή υιοθέτησε πολύ γρήγορα ο Ιωάννης Κομνηνός στο Προσκυνηματάριό του (1698) και στα μέσα του επόμενου αιώνα ο ρώσος περιηγητής Βασίλειος Μπάρσκι (1744). Γενικώς, φαίνεται πως ο θρύλος του εθνικού αυτοκράτορα ως κτήτορα κυκλοφορούσε αρκετά στη μονή κατά τον 18ο αιώνα, τόσο ώστε να ιστορηθεί από τον ζωγράφο του κοιμητηριακού ναού των Αγίων Πάντων (1768), όπου σωζόμενη επιγραφή σε μισοκαταστραμμένη σήμερα τοιχογραφία αναγράφει: Βασ. Καρακάλλας. Παραλλαγή του συγκεκριμένου θρύλου θέλει ως ιδρυτή τον Νικόλαο Καρακ(α)λά, καταγόμενο από μικρή πόλη της Βλαχίας, ονομαζόμενη Caracal, την οποία φέρεται να έχτισε ο ίδιος αυτοκράτορας Καρακάλλας.
Άλλες εικασίες συνδέουν την ονομασία της Μονής με το επώνυμο της γνωστής, από τον 17ο αιώνα, πελοποννησιακής οικογένειας Καράκαλλου ή Καρακ(αλ)ά, από τη Δημητσάνα, από την οποία προήλθαν πολλοί αρχιερείς, ανάμεσα στους οποίους και ο Κωνσταντινουπόλεως Κύριλλος Ε’ ο Καράκαλλος (1748-1751, 1752-1757). Αλλά κι αυτή η εξήγηση είναι μάλλον αμφισβητήσιμη. Παρομοίως, η ονομασία της Μονής δεν σχετίζεται με το επώνυμο της ιταλικής -αλλά με ελληνική καταγωγή- αρχοντικής οικογένειας των Caraccioli. Η εκδοχή αυτή προφανώς κυκλοφορούσε στη Δύση ήδη στις αρχές του 18ου αιώνα, εφόσον μνημονεύεται από τον ιησουίτη μοναχό Branconnier, ο οποίος επισκέφτηκε τον Άθω το 1706. Τον 19ο αιώνα ο Ιταλός Francois Caracciolo, προφανώς γόνος της ομώνυμης οικογένειας, υπέθεσε πως η ονομασία της Μονής σχετιζόταν με την οικογένειά του, διεξήγαγε μάλιστα επίπονες έρευνες στην ίδια τη Μονή, οι οποίες όμως δεν επιβεβαίωσαν την υπόθεσή του.
Στην παλιότερη μνεία της στις πηγές, το 1018, η Μονή ονομάζεται Καρακάλου ή Καρκάλους. Στις επόμενες αναφορές μέχρι το 1142 αποκαλείται Μονή Καρακάλου. Το ίδιο έτος απαντάται και η αναφορά της ως Μονή του Καρακαλά. Ως τον 14ο αιώνα αναφέρεται και με τους δύο τρόπους, ωστόσο το Καρακάλου υπερέχει αισθητά και τελικά επικρατεί από τα τέλη του ίδιου αιώνα. Ούτε η υπόθεση ότι η ονομασία της μονής ίσως έχει τουρκική προέλευση και σημαίνει μαύρος πύργος (καρά+κουλές) πρέπει να ευσταθεί, εφόσον την εποχή της ίδρυσής της δεν είχαν εμφανιστεί ακόμη στο ιστορικό προσκήνιο οι Σελτζούκοι Τούρκοι.
Η προέλευση της ονομασίας πιθανότατα πρέπει να συνδεθεί με τον επιθετικό προσδιορισμό του ιδρυτή της. Την εικασία αυτή διατύπωσε τον 14ο αιώνα ο πατριάρχης Φιλόθεος Κόκκινος στον Βίο του Αγίου Γερμανού Μαρούλη. Ωστόσο το επώνυμο Καράκαλ(λ)ος ή Καρακαλ(λ)άς δεν απαντάται στους μέσους βυζαντινούς χρόνους. Γίνεται γνωστό ως Καράκαλος μόλις στα τέλη του 13ου αιώνα και αφορά τον μητροπολίτη Νικομηδείας (1289-1309) Καράκαλο, το όνομα του οποίου όμως δεν παραδίδεται.
