הגימנסיה הוקמה ביפו בשנת 1905 בשם "הגימנסיה העברית".
בשנת תרס"ט-1909 עברה הגימנסיה מיפו לשכונה החדשה, לרחוב הרצל, וקיבלה את שמה החדש - גימנסיה הרצליה - על שם חוזה המדינה, בנימין זאב הרצל.
הגימנסיה שימשה כמרכז החינוך והתרבות של השכונה החדשה - ולאחר מכן של העיר תל אביב.
בשנות ב-60 נהרס בניין הגימנסיה, ובמקומו נבנה מגדל שלום.