הרב אבי גולדברג היה איש של תורה ואיש של ניגון שפעל למען חיבור בעם ישראל, ותמיד היה נסוך על פניו חיוך כובש.
הוא גדל בשכונת קטמון בירושלים, למד בבית הספר דוגמא ובתיכון הימלפרב (ולימים אף חזר לתיכון שלמד בו ושימש בו דמות משפיעה), והיה מדריך נערץ, אהוב ומסור בבני עקיבא סניף ירושלים מרכז. אחרי סיום לימודיו למד הרב אבי בישיבת ההסדר בצפת ובישיבת הכותל, התגייס לגולני ושירות שירות מילואים בחי״ר. בימי שגרה היה מחנך ורב בתיכון הימלפרב בירושלים. היה נגן קלרניט מוכשר, והתנדב רבות עם ניצולי שואה. תלמידיו היו הולכים אחריו לשמח ולנגן בבתי אבות ובתי חולים בעיר.
הרב אבי ומשפחתו שימשו שליחים בשליחות תורנית-ציונית של שלוש שנים בארצות הברית. כמו כן הוביל הרב אבי במאור פנים מרשים ומחבר את תפילות יום הכיפורים בקיבוץ החילוני גינוסר שעל שפת הכינרת. הרב אבי היה דמות בולטת בקהילת 'באורך' בשכונת מקור חיים בירושלים, לימד תורה והכניס לביתו אין-סוף אורחים מהארץ ומחוצה לה. הוא ערך חופות לזוגות לא דתיים דרך ארגון 'צהר', ולרבים מהם היה סביב החתונה וגם בהמשך החיים המקור לכל שאלה ועניין יהודי.
הרב אבי נשא בתוכו אהבה עצומה לעם ישראל וביטא אותה בכל דרך אפשרית, כולל באירוח ובהנחיה של מפגשי שיח בין אנשים בעלי תפיסות עולם מגוונות ואף מנוגדות, ועשה זאת באופן נעים, מקרב ומחבר. התכונות שאפיינו אותו היו כנות, כבוד ויושר וגם ידע כללי רחב, והן גרמו לכל מי שנפגש איתו להרגיש אהוב, חשוב ומועצם. הוא תיבל כל מפגש בצחוק ובדברי טעם אגב התעניינות ואכפתיות שחרגה מעבר לקשרים רגילים.
הרב אבי היה בעל אוהב לרחל אשתו ואבא מופלא לשמונת ילדיהם, כיפי, עוזר, מייעץ. הוא היה איש של עשייה בידיים וברגליים, ידע לתקן כל דבר ולעבוד את האדמה.
הרב אבי הוא הרב הצבאי היחיד בתולדות המדינה שנהרג כלוחם בקרב: בשלב שכבר היה פטור ממילואים, השתתף בקורס רבנים צבאיים במסלול הלוחם. מתוקף תפקידו הוא שימש גם איש רוח, וטען את סביבתו בכוח: לאורך המלחמה היה שולח בקביעות הודעות ואטסאפ לכל חיילי הגדוד, ובהן דברי חיזוק, חוסן וזקיפות קומה מתוך פרשיות השבוע ובחיבור לשורשים היהודיים לאורך הדורות. הוא ביקש למלא את חייליו תחושת נתינה ושליחות למען כלל עם ישראל, אבן לבניין החברה. הוא עשה כל זאת בענווה, בשמחה, באמונה, במסירות ובאהבה – אהבת ישראל ואהבת ה׳.