המוסד הראשון לחינוך חקלאי בארץ-ישראל הוקם ב- 1870 על-ידי חברת כי"ח - 'כל ישראל חברים' (Alliance Israe'lite Universell). כי"ח לא פעלה מתוך הכרה ציונית, או לאומית. מטרתה היתה לשפר את מצבם של היהודים מבחינות תרבותיות וכלכליות במגמה לקדם את מעמדם האזרחי, וכדי שיזכו באמנציפציה כאזרחים "מועילים" בארצות מושבם. לשם כך הקימה במדינות שונות, שבהן חיו היהודים, מוסדות חינוך בשפה הצרפתית. קרל נטר, מזכיר כי"ח, התרשם בביקורו בירושלים כי חלק מצעירי "היישוב הישן" רוצים לעסוק בעבודת אדמה, ולכן יזם את הקמתו של בית-ספר חקלאי. מטרתו הייתה לתרום לפרודוקטיביזציה של היהודים בארץ-ישראל, לשקם בה את החקלאות היהודית ולהכשיר דור של חקלאים.

הודות להשתדלותו של נטר אישרו השלטונות העות'מאנים את הקמת בית-הספר ונתנו לו זיכיון לצמיתות על שטחי קרקע גדולים (2,400 דונם) בקרבת יפו. בית-הספר נקרא מקווה ישראל על-פי הפסוק: "מקוה ישראל ה' כל עוזביך יבשו (ירמיה, י"ז: 13).
נטר היה מנהלו הראשון של בית-הספר, ושימש בתפקיד הזה בשנים 1870-1874.

במקווה ישראל לימדו נוסף על חקלאות, מלאכות שונות. הלימודים העיוניים התנהלו בצרפתית, ובמוסד שררה הרוח הצרפתית. רק עם מינויו של אליהו קראוזה למנהל מקווה ישראל ב- 1914, חל שינוי ברוח המוסד, וחדרו לתוכו השפה העברית והרוח הלאומית.