מתי בדיוק הוחלט ב"רייך" הנאצי על השמדת העם היהודי - על כך נחלקו הדעות. אין בידנו מסמך שיקבע ברורות, כי בתאריך מסוים הוחלט על "הפתרון הסופי".
נראה, שהדעות היו חלוקות גם בצמרת הנאצית. בחוגים שהתרכזו סביב היינריך הימלר - ראש כוחות ה-ס.ס., (ארגון פוליטי, משטרתי-צבאי וכלכלי רב-עצמה. אחראי - על כל מוסדותיו ושלוחותיו - לביזת רכושם, ניצול עבודתם והשמדתם הפיסית של מיליוני יהודים. ראשיתו בפלוגות-המגן המובחרות של המפלגה הנאצית.) והמשטרה ב"רייך", הממונה על מחנות הריכוז ומאדריכליו העיקריים של משטר הדיכוי והטרור במרחבי השליטה הנאצית -- בשלה זה כבר ההכרה, כי יש לבצע את השמדת העם היהודי. הימלר היה גזעני ואנטישמי קנאי, והוא ביקש ליצור מתוך מסדר ה-ס.ס., בתוך האומה הגרמנית, גרעין של "גזע עליון", המבוסס על מיתוס הדם הארי הטהור. השקפות מעין אלה רווחו גם בחוגי הפיקוד העליון של הוורמאכט.
ברם המדינאים המקצועיים, בעיקר אנשי משרד-החוץ, חששו מפני תגובת מדינות העולם וביקשו כל עוד נמשכת המלחמה, דרכים אחרות להיפטר מן היהודים. ואילו היטלר עצמו עדיין פסח על שני הסעיפים: עם שביקש להשמיד את היהודים, עדיין חשש שמא יקפח את הסיכוי להעלות את העולם האנגלוסכסי בחכתו, שכן האמין היטלר בכוחה וביכולתה של יהדות-העולם, ובעיקר האמין בכוח השפעתם של יהודי אמריקה על מדיניות ארצות-הברית ואנגליה. לפיכך התחילו לגרש את היהודים מן השטחים שסופחו ל"רייך", לתוך הגנרל-גוברנמן. פראנק שלח מחאה אחרי מחאה עד שגירושים אלה הופסקו ובינתיים כבר החלו בהקמת הגטאות.
יש להניח, כי על ההשמדה הוחלט באביב 1941, משנעשו ההכנות להתקפה על ברית-המועצות. הביצוע נמסר לידי המשרד הראשי לביטחון הרייך (RSHA).
את ההשמדה החלו לבצע מיד, בשבוע הראשון של המלחמה, וקודם כל בשטחי ברית-המועצות שנכבשו. על מפנה מהותי שחל במדיניות שליטי ה"רייך" ביחסם ליהודים, מעידה הוראה, שיצאה מלשכתו של גרינג אל ראש משטרת הביטחון וה-ס.ד. (שירות הביטחון של ה-ס.ס.), הגרופנפירר (הגנרל) ריינהארד היידריך. במסמך רשמי זה, מה-31 ביולי 1941, המתייחס ליהודי אירופה כולה, נאמר :
ולהשלמת המשימה, שכבר הוטלה עליך בצו מ-24 בינואר 1939, לפתור את שאלת היהודים בצורה של הגירה או של פינוי, פתרון נוח ככל האפשר בהתאם לתנאי הזמן הריני מייפה בזה כוחך לעשות את כל ההכנות הדרושות מן הבחינה הארגונית, העניינית והחומרית לפתרון כולל של שאלת היהודים בתחום ההשפעה הגרמנית באירופה. במידה שהדברים נוגעים לסמכותם של מוסדות מרכזיים אחרים, יש לשתף אותם.
אף מטיל אני עליך להמציא לי בקרוב הצעת כוללת של הפעולות המוקדמות - הארגוניות הענייניות והחומריות - לביצוע הפתרון הסופי הרצוי של שאלת היהודים".
אכן, תחילה היו שיטות ההשמדה ההמונית בלתי משוכללות, ומשום כך גם לא יעילות במידה הדרושה ל"רייך" הנאצי. את היהודים היו מרכזים במקום אחד, - בכיכר השוק או במגרש פנוי - מוליכים אותם במרחק לא רב מן העיר, אל בורות שנכרו בעוד מועד והורגים אותם ביריות רובים או במכונות ירייה.
הרצח ההמוני ביריות בוצע בידי אנשי ה"איינזאצגרופן" ("עוצבות מבצעיות"), אשר הוקמו עם פלישת הגרמנים לברית-המועצות, לפי הסכם מיוחד, שנתתם בין המשרד הראשי לביטחון ובין מטה ה"וורמאכט" (הן הוקמו לפי פקודת ראש המטה הפילדמארשל קייטל, מ-13 במרץ 1941 ובהתאם לטיוטת הסכם עם הגנרל קווארטמייסטר וואגנר, מ-4 באפריל. איינזאצגרופן כבר היו קיימות במלחמת פולין, אבל עתה הוקמו מחדש והייקפן הורחב.) הן היו צמודות לגייסות הצבא שבחזית מסוימת, ותפקידן היה לטהר, בעקבות הצבא המתקדם, את השטח מאויבי ה"רייך" ולרצוח את היהודים. את הציוד והאספקה היו מקבלים מן הצבא. מספר העוצבות היה ארבע כמספר החזיתות בברית-המועצות (צוינו באותיות A.B.C.D.). העוצבות נחלקו ליחידות אופרטיביות קטנות יותר, בשם "איינזצקומנדו" ו"זונדרקומנדו". את פעולות הרצח היו מבצעים בעזרת תושבי המקום, שהתגייסו לעזרתם, בעזרת המשטרה המקומית, ולעתים גם בעזרת יחידות הוורמאכט ובפקודתו.
עוצבות גרמניות אלה, ואתן יחידות-השמדה של מתנדבים ליטאים, לאטבים, אסטים ואוקראינים, הספיקו עוד בחדשי המלחמה הראשונים לרצוח את רוב היהודים בארצות הבלטיות, בביילורוסיה ואוקראינה, להכרית מאות קהילות וישובים יהודיים. המעטים הנשארים מן הקהילות הגדולות נכלאו בגטאות. שרידי הקהילות היהודיות בשטחי ברית-המועצות הכבושים ובארצות הבלטיות הושמדו בגל השמדה שני ושלישי שעבר עליהם ב-1942 וב-1943.
אולם עם הפעלת ה"איינזאצגרופן" החלו הגרמנים מחפשים דרכים "יעילות" יותר להשמדת העם היהודי באירופה הכבושה.
