בטקס קבלת פרס נובל לספרות [1966] שהתקיים בשטוקהולם פותח עגנון את נאומו במילים הבאות: "מתוך קטסטרופה היסטורית שהחריב טיטוס מלך רומי את ירושלים, נולדתי אני באחת מערי הגולה. אבל בכל עת, תמיד דומה הייתי עלי כמי שנולדתי בירושלים. בחלום, בחיזיון לילה, ראיתי את עצמי עומד עם אחי הלויים בבית המקדש כשאני שר עימהם שירי דוד מלך ישראל". אמירה מעין זו מול עולם ומלואו מבטאת יותר מכל את יחסו המיוחד של עגנון לירושלים, יחס המתבטא אפילו בסיפורים בהם ירושלים חסרת חן, רחובותיה עלובים וצרים, ושוטרי המנדט מכים במתפללים ליד הכותל ["תהילה"].
הפער בין יחסו של עגנון ליפו בה חי עם עלייתו לארץ 1908 – 1912, ליחסו לירושלים אליה הגיע ב-1924, בא לידי ביטוי בסיפורים רבים. למרות ש"יפו יפת ימים" ["שבועת אמונים"] והוא חווה הנאה גדולה מחוף הים ומקשריו עם אנשי הספרות שחיו בה באותו זמן, [ברנר, ש.בן ציון ] הוא מציב סימני שאלה על אופייה ועל אופי תושביה ["גבעת החול", "לילות" ועוד] ומעז לבטא עמדה המערערת על היותה חלק מארץ ישראל: "מנין שיפו אינה ארץ ישראל? מיונה הנביא. בקש יונה לברוח מלפני ה' ולהיכן ברח וירד, יפו…" ["ברית אהבה"].
לעומתה ירושלים היא סמל הקדושה. "כך היה ר' שמואל יוסף מקפל לפניהם את שערי ירושלים ונכנס עימהם ורואים מה שלפני ולפנים" ["בלבב ימים"]. משום כך מובנת השתקעותו של עגנון בירושלים עם עלייתו [השנייה] לארץ ב-1924. הוא נאחז בה למרות הצרות שפקדו את ביתו ברעש האדמה ב-1927. הוא עוקר אמנם לשכונת תלפיות, אך ליבו עם אנשי ירושלים שהותיר אחריו במרכז העיר "בשעה זו שאני עומד כאן יחידי, עומדים כל ישראל שבעיר ואומרים שיר הייחוד ותהילים…" ["פי שניים"], ועל אף פרעות תרפ"ט, [אז נאלץ לעזוב את ביתו] הוא חוזר אליה ובונה בה את ביתו החדש [1931].
פרק חשוב באהבת ירושלים ובחובה להכות בה שורש למרות הכל מלמדנו עגנון בספור "מאויב לאוהב" : "לקחתי לי עצים חזקים וקורות ואבנים גדולות וטיח ומלט ושכרתי לי פועלים טובים ועמדתי עליהם ביום ובלילה. אף חכמתי עמדה לי שהעמקתי את היסודות". התשובה לאויב ולפרעות שהוא פורע בירושלים היא – עקשנות, היאחזות, בנין, ועיקר העיקרים- העמקת היסודות.
