בספטמבר 1892 נכנסה הרכבת לירושלים בקול תרועה וצופר. המונים מתושבי העיר הגיעו נרגשים כדי לקבל את פניה בתחנה החדשה ונדהמו מן הפלא המודרני של "מרכבות סוסי האש והברזל". המשכילים גם ראו בקיטור המגיע לירושלים את בשורת הקדמה, כפי שנכתב בעיתון "האור": "קול הצפירה של מכונת הקיטור הוא קול השופר של ההשכלה. הוא המבשר חיים חדשים, חיים של עבודה, חיים של קדמה, חיים מהירים, חזקים, ההולכים בכוח הקיטור".
על השתאותם של תושבי ירושלים למראה הרכבת דיווח ישראל דב פרומקין בעיתונו "חבצלת" מיום ח' בתשרי התרנ"ג, 29 בספטמבר 1892:
ביום השני לשבוע הזה, ה' בתשרי, חונכה מסילת הברזל מיפו לירושלים ונמסרה לתשמיש הקהל. ותשמח ירושלם, וכל תושביה שמחו ששו כי זכו ליום בו ראו את אשר לא פללו. לא נדבר מהזקנים הזוכרים את ירושלם העתיקה וארחותיה הקדומות, מאלה אשר נסעו מאדעססא עד יפו או עכו באניות תורן ירחים אחדים עד אשר זכו לחבק עפר ארץ הקודש ולנשק אבניה. לא רק הם לא האמינו לשמועה כי מסילת ברזל תסל מיפו לירושלם, כי גם הצעירים מהם. גם בני אייראפא תושבי ירושלם אשר עיניהם ראו בארצותיהם מסילות סלולות בבקעה ובהר לא פללו לראות מסילת הברזל מגעת ירושלם, וגם אחרי החלו הבונים לבנותה וקול שריקת המכונה כבר נשמע בירושלם וברמלה, נמצאו עוד מאות ואלפים אשר לא האמינו כי תכלה חברת הבונים את המלאכה אשר החלה.
העיתון מתאר אף את חבלי הלידה של מסילת הברזל שנמשכו שנים רבות מאז חידש משה מונטיפיורי ב- 1857 את היזמה לכינונה, ועד לרכישת הזיכיון להקמתה ולהפעלתה בידי יוסף ביי נבון ב- 1888:
כי זה שנים רבות אשר חברות אחדות דרוש רשיום מאת ממשלתינו לבנין המסילה הזאת, ולשתים מהן ניתן הרשיום בעד ערבון אשר נתנו כי ישתמשו בו. ואח"כ חשבו דרכם ויבחרו לאבד את הערבון ולא לבנות את המסילה בהתבוננם כי אין שכר לפעולתם. לכן גם בהנתן הרשיום מאת הוד מלכותו השולטאן לאחינו השר יוסף איפענדי נבון לבנות המסילה הזאת לא האמינו כל תושבי עירנו כי יצליח לבנותה עד אשר ראו גמר בנינה ושמחו.
על החגיגות דיווח פרומקין:
ביום השני שבוע הזה יום הנועד לחנוכת המסילה נאסף קהל גדול למאד אל בית התחנות הראשי אשר בעירנו ואשר עוטר בדגלים ויעטה הוד והדר, ומנגני הצבא השמיעו מנגינותיהם. המכונות הלכו רצוא ושוב ויובילו אחריהם עגלות מלאות אדם רב אשר לוקחו חנם ליסע במסילה החדשה עד התחנה הראשונה. המהנדסים ושרי העיר הבירה אשר בחנו את המסילה כתבו עדותם וחתמו כי ראויה היא להמסר לתשמיש הקהל, ותמסר.
ביום ההוא לפנות ערב עשו מנהלי המסילה משתה גדול בחצר בית התחנות לגדולי עירנו אשר הוזמנו לזה על פי פתקאות מכבוד פחת עירנו, ומנגני הצבא השמיעו שנית קול מנגינותיהם. והמון העם ששו ושמחו ויקראו בקול: יחי הוד מלכותו השולטאן לעולם.
ועדת ישראל אשר בירושלם תלבש נאות כי אחד מבניה יליד ירושלם הצליח בישע ה' להביא הברכה הזאת להעיר אשר נולד בה, ותעתיר בעדו לה' כי ינטלו וינשאו כימי עולם ובכל אשר יפנה ישכיל ויצליח. יתן ה' כי תביא המסילה הזאת ברכה לעירנו ותושביה, תגדיל מסחרה תרבה פרנסתה ותרים קרנה בכבוד. וה' ירחם ציון כאשר אמר, וירושלם כאשר דבר, ושבה והיתה מהר משוש כל הארץ, תקותינו ותפארתינו ועינינו תחזינה בשוב ה' שבותה.
הרכבת החלה לנוע בציר יפו-ירושלים על מסילה שרוחבה כמטר אחד והיו בה שתי מחלקות. ב- 1896 נוספה מחלקה שלישית לעניים. תאים מיוחדים הוקצו לנשים מוסלמיות. משך הנסיעה המתוכנן היה שלוש שעות, אך בפועל נמשכה הנסיעה לא פעם כשש שעות. ב- 1904 יצאה הרכבת פעם עד פעמיים ביום לכל כיוון. ביום ראשון יצאו רכבות מיוחדות מירושלים לתחנת בתיר לשירות הנופשים בחיק הטבע.
פיתולי הדרך, החום, הצפיפות והיעדר בתי השימוש הקשו על הנסיעה, והעיבו במיוחד על התיירים ועל עולי הרגל האירופים: "בחום איום נסענו אחר כך ברכבת לירושלים [...] העינויים בתא הרכבת הצר, הלוהט והמלא אדם, היו לבלתי נשוא" כתב בנימין זאב הרצל ביומנו בעת ביקורו ב- 1898. תשע שנים לאחר מכן, ב- 1907, החרתה-החזיקה אחריו חמדה בן יהודה ברשימתה בעיתון "הצבי":
"כי לולא קמצו במקום שלא היה צריך לקמץ, אז לא היתה המסילה ארוכה כל כך [...] אולם מה שנורא באמת, הוא שחסרים ברכבת דברים אחדים נחוצים כל כך. איה למשל, בעגלות הרכבת, המים לשתיה [...] אפרונים לאפר הסיגריות? ואחרון אחרון חביב, איה, במחילת כבודכם, בית הכבוד?".