הגן ניזכר תכופות על ידי עולי הרגל החל מתקופות קדומות ביותר ; כבר ארקולפוס ( 670 ) מזכירו "כמקום בו ישו נשא את תפילתו לפני . "סבלו בימי הביניים שגור לא אחת השם "גן הפרחים" למקום , שם המקובל גם בימינו . יודגש כי עד המאה , 15-ה אין עולי הרגל מזכירים כלל את עצי הזית בגן , ולאחר מכן הם מופיעים לפתע "כעצי הזית הגדולים והקדומים ביותר בארץ . "ישראל היסטוריונים נוצרים , בנסותם לתרץ תופעה זו , מצטטים תכופות את פליניוס האומר כי "עצי הזית אינם מתים . "לעולם הם טוענים איפוא כי מגזעי אותם עצים קדומים צמחו ועלו העצים החדשים .. בשנת 1187 הפך הגן לרכוש הווקף המוסלמי , ברם בשנת 1681 עלה בידי הפרנציסקאנים לרכוש את המקום מידי המוסלמים . במשך שנים מרובות נשאר הגן בצורתו הטבעית . מוקף גלי אבנים ושיחי צבר . רק 1849-ב נבנתה גדר האבנים הגבוהה , שנועדה להגן על עצי הזיתים יקרי המציאות , שכן זרם עולי הרגל שפקד את ירושלים במאה הקודמת , נהג "ליטול מזכרות" מגזעי העצים וענפיהם כדי להנציח את הביקור . ברטלט מעיד : " יש משהו מרשים מאין כמוהו במקום זה , בו שוררת דממה כבדה , בין עצי הזית העבותים והחומה הסוגרת עליהם ממזרח ...
To the book