הרקע להקמת הועד הינו הצטברות של סוגיות עקרוניות רבות אשר יש להן השפעה על חיי התושבים בשכונת רמות אשר גודלה כגודל עיר בינונית בישראל, בהיבט הרוחני והיבטים נוספים. ברם, במשך זמן רב לא היה ייצוג הולם אשר יביא לידי ביטוי את דעת הרבנים בנושאים הציבוריים, ובין היתר בנושאי הבריכה והקאנטרי, קניון רמות, המנהל הקהילתי ועוד סוגיות רבות. לאור זאת, החליטו הרבנים לייסד גוף מרכזי אשר ירכז את דעותיהם של כלל הרבנים בשכונה, ויביא לידי ביטוי את החלטותיהם ואת דעתם בכל עניין.
את הכנס שנערך באולמי 'מאורות משה' ברמות ג', פתח הגאון הרב אלון בר שלום שליט"א, אשר דיבר על הצורך החשוב שרבני השכונה הם שיקבלו את ההחלטות המשמעותיות והגורליות הנוגעות לעתידה הרוחני, ועל הזכות הגדולה לקיים כנס שכזה. לאחריו נשא דברים הרב אברהם דניאל שליט"א אשר הסביר כי כינוסם של צדיקים יפה להם ויפה לעולם, ועל ידי הקמת הועד ניתן יהיה להביא לידי ביטוי את דעתם של כלל הרבנים בצורה שתשפר ותחזק את מעמדה וצביונה של השכונה כולה. אחריהם נשא דברים חתנא דבי נשיאה הרב יצחק זיאת שליט"א וסיפר כי חמיו מרן הגאון הגדול רבי שלום כהן זצוק"ל אשר באחרית ימיו היה לתושב השכונה כידוע, היה נדרש בשעתו למגוון סוגיות עקרוניות שבהן השתדל לברר מה דעתם של רבני השכונה ועל פי כך להורות לנציגים ולעסקנים כיצד לפעול. אך מאז הסתלקותו נוצר חלל גדול, ואין דעה אחידה ואמירה ברורה מצד הרבנים, והדבר מביא לכדי כך שהציבור מפסיד בתחומים רבים.
לבסוף הרבנים והעלו על הכתב את הנושאים אשר לדעתם יש לדון ולטפל בהם בשכונה, וכן הצביעו על שמונת הרבנים אשר מונו ברוב קולות לועד, והם הרבנים הגאונים: רבי דן בן משה, רבי שאול בשארי, רבי בנימין גמליאלי, רבי אברהם דניאל, רבי דניאל זאדה, רבי עובדיה יוסף טולידנו, רבי דן מזרחי ורבי אריאל פחימה שליט"א, כאשר כל שני רבנים מייצגים חלק אחר בשכונה הענקית.
ועד רבני השכונה יהווה מהיום ואילך ייצוג מלא ואחיד של כלל רבני השכונה אשר הוזמנו ובאו לכנס, וביניהם הרבנים הגאונים (לפי א' ב'): הגאון הרב יצחק אברהם שליט"א מו"צ וראש כולל שמש אהרון, הגאון הרב ירון אשכנזי שליט"א ראש קו ההלכה וחבר הנהלה רוחנית בארגון הידברות, הגאון הרב מרדכי אשכנזי שליט"א ראש כולל בביהמ"ד מאורות משה, הגאון הרב אורי בנון שליט"א ראש כולל ורב שכונת רמות 06, הגאון הרב דן בן משה שליט"א רב קהילת "מצפה אריה", הגאון הרב אורן בר שלום שליט"א דיין ורב בקהילת חורש רמות, הגאון הרב אלון בר שלום שליט"א מרבני קהילת אהל משה ומו"ץ רמות ב', הגאון הרב שאול בשארי שליט"א ראש כולל במאורות משה,הגאון הרב אברהם דניאל שליט"א רב קהילת "מאורות משה", הגאון הרב אהרון דגן שליט"א ר"מ בישיבת משכן חיים וראש חבורה בכולל תורת שמעון, הגאון הרב חיים וידאל שליט"א דיין ומו"ץ רמות ג', הגאון הרב דניאל זאדה שליט"א ראש ישיבת תורת אברהם, הגאון הרב יצחק זיאת שליט"א ראש כולל "מאורות משה", הגאון הרב ינון זר שליט"א רב קהילת עטרת ציון, הגאון הרב יוסף חיים חדאד שליט"א רב קהילת ברסלב, הגאון הרב משה חמד שליט"א רב קהילת מגן אברהם, הגאון הרב משה טוויל שליט"א רב קהילת מטה משה, הגאון הרב מרדכי טולידאנו שליט"א אב"ד ירושלים, הגאון הרב עובדיה יוסף טולידאנו שליט"א אב"ד דרכי תורה ורב קהילת יביע אומר, הגאון הרב עובדיה יוסף שליט"א ראש ישיבת אוהל יוסף ב"ב, הגאון הרב גד יזדי שליט"א מו"צ וראש כולל, הגאון הרב יאיר יחזקאל שליט"א רב ברמות א', הגאון הרב ירון כהן שליט"א רב קהילת "בת עמי", הגאון הרב רפאל לארדו שליט"א רב קהילת "משכן מאיר", הגאון הרב שריה מדמון שליט"א רב קהילת משכן ברמה, הגאון הרב אוריאל מונסונגו שליט"א ר"מ בישיבת רינת התורה, הגאון הרב פנחס מוסבי שליט"א רב קהילת "בית הרואה", הגאון הרב דן מזרחי שליט"א ראש כולל מעלה שלום, הגאון הרב יורם מימון שליט"א ראש ישיבת תורת משה, הגאון הרב יצחק מאיר סעדון שליט"א מרבני קהילת "בני תורה- חניכי הישיבות", הגאון הרב אהרון עזר שליט"א מרבני קהילת בני תורה חניכי הישיבות, הגאון הרב אריאל פחימה שליט"א רב קהילת אור חנניה, הגאון הרב משה פנחסי שליט"א רב קהילת השם רועי, הגאון הרב משה פנירי שליט"א ראש בית ההוראה "אפיקי מים", הגאון הרב ישראל מנחם שטרית שליט"א דיין ומו"צ, הגאון הרב יצחק שרים שליט"א, הגאון הרב עזרא שרים שליט"א ראש מוסדות מסילת התורה, ועוד. רבנים נוספים רבים נבצר מהם להשתתף ושלחו את הסכמתם וברכתם למינוי רבני הועד, וביניהם הגאון הרב נפתלי אברז'ל שליט"א רב קהילות האברכים בנווה יעקב ובק"ס, הגאון הרב אהרן בוטבול שליט"א ראש בית ההוראה יביע אומר, הגאון הרב בנימין גמליאלי שליט"א ראש ישיבת לבב חכמה ורב קהילת נצח ישראל, הגאון רבי יעקב שרבאני שליט"א מראשי ישיבת מאור התורה ועוד.