כנסיית הקבר בנויה בלב הרובע הנוצרי בעיר העתיקה בירושלים, במרומי גבעה הנקראת ע"י הנוצרים גלגותא. שם זה הוא שיבוש של המלה הארמית גולגולתא, או העברית - גולגולת. לפי אגדה נוצרית נקראת כך הגבעה משום גולגלתו של אדם הראשון הטמונה בה, וכאשר ניצלב עליה ישו נפלה טיפת דם ממנו על גולגולת זו.

לפי המסורת הנוצרית נתגלה מקום הקבורה של ישו למלכה הלנה בעת שביקרה בירושלים בשנת 326. היא הניחה יסוד לכנסיה במקום הזה, שהתרחבה בתקופת השלטון הביזנטי הנוצרי. הביזנטים, שדברו יוונית, קראו לכנסיה אנסטסיס - התחייה, לזכר תחייתו של ישו במקום הזה. ציור ראשון של כנסיית הקבר מופיע במפת מידבא.

הערבים שהשתלטו על ירושלים בראשית המאה השתמשו בשם הביזנטי וקראו למקום בשם אלקיאמה - התחייה. הצלבנים, שסיסמתם היתה "גאולת הקבר הקדוש מידי הכופרים" (המוסלמים), כבשו את ירושלים ב- 1099 ובנו במקום כנסיה חדשה שנשארה עד ימינו. הם קראו לה בשם הלטיני "כנסיית האדון". ב- 1187 עברה שוב הכנסייה לידי המוסלמים המנצחים. לנוצרים ניתנה רק 'חזקה' על חלקים שונים בכנסיה. בין הזרמים השונים של הדת הנוצרית פרצו מידי פעם סכסוכים בשל סמיכותם זה לזה במתחם של הכנסייה.