עלה לארץ ישראל ב- 1904 והתמנה לרב של יפו. לאחר מלחמת העולם הראשונה התמנה לרב של ירושלים, ומשנת 1921 היה הרב הראשי לארץ ישראל.
הרב קוק ראה בשיבה לארץ ישראל את התחלת הגאולה, וחוגים חרדים שהתנגדו לקרבתו לציונות, תקפו אותו עקב כך. על שמו נקראים בין היתר: כפר הרא"ה, מרכז הרב קוק וישיבת הרב קוק בירושלים.