ארגון "אל-ג'יהאד" הוקם במצרים בשנת 1979, על-ידי מוחמד עבד אל-סלאם פרג'. תפיסתו של עבד אל-סלאם פרג' היא שיש לנהל ג'יהאד נגד שליטים מוסלמים חילוניים, שאינם נוהגים על-פי ההלכה האִסלאמית, ועל-כן הם כופרים. הוא קבע שיש לחתור להקמת מדינת הלכה אִסלאמית, שבראשה יעמוד ח'ליף. רוב חברי הארגון גויסו בקהיר ובשכונת גיזה הצמודה לה. ביניהם היו בעלי מקצועות חופשיים, סטודנטים ואנשי צבא.
כמה חודשים לפני רצח הנשיא המצרי אנוואר סאדאת, התמזג ארגון אל-ג'יהאד עם ארגון אל-ג'מאעה אל-אִסלאמיה. עבד אל-רחמן, המנהיג הרוחני של אל-ג'יהאד, הטיל על חבר הארגון ח'אלד אל-אִסלאמבולי פסק הלכה שמתיר לרצוח את סאדאת. וכך קרה ב-6 באוקטובר 1981.
מראשית קיומו ביצע הארגון פיגועי טרור נגד האוכלוסייה הקופטית במצרים, במטרה לערער את יציבות המשטר במדינה. לאחר רצח סאדאת נעצרו רוב חברי אל-ג'יהאד, ופרג' הוצא להורג. עבד אל-רחמן שוחרר, אך חברים רבים נטשו אותו. ב-1993 הוקם הארגון מחדש. יש שמכנים אותו בשם "הג'יהאד החדש", אך הוא מוכר יותר בשם "טלאיע אל-פתח" – חלוצי הניצחון. מארגון אל-ג'יהאד הראשון התפצלו כמה ארגונים קטנים שהמשיכו לפעול על-פי דרכו.
החל משנת 1995 ארגון אל-ג'יהאד הוא חלק מחזית הג'יהאד העולמית של בן-לאדן, ומשנת 1998, מאז שארגון אל-קאעדה הוגדר כגוף המאגד תחתיו מספר ארגונים, ארגון אל-ג'יהאד מוגדר כחלק ממנו. מנהיגו הנוכחי של הג'יהאד האִסלאמי המצרי הוא אימן אל-זואהירי, המשמש גם כסגנו של אוסאמה בן-לאדן.
