קראים וספרדים
מספרים כי בתקופת כהונתו כראשון לציון נשאל ר' רפאל מיוחס האם מותר ללמד את בני הקראים בבתי המדרש יחד עם ילדי הקהילה:
"נשאלתי הלכה למעשה, אחד מבני המקרא שרוצה להכניס את בניו לתלמוד תורה שילמדו בניו תורה שבכתב עם ילדי העברים אי שרי (מותר) ללמדם תורה שבכתב או יש צד איסור בדבר בפרטות, כי אם ימאן המלמד מללמדם ליכא (אין) חשש איבה כי במה נחשב הוא זולת המלמד כי איש עני ואביון הוא להנאת עצמו…"
בתשובתו הרב מתיר את הדבר, במיוחד לאור העובדה שהקראים נימולים על ידי מוהל ישראל. הרב מיוחס מסיים את תשובתו במילים אלו: "ולעניות דעתי נראה דיכול ללמדם יחד עם ילדי העברים ואדרבה יתקנאו בני ישראל הקדושים".
אולם לימים חזר בו הרב מפסק ההלכה ושינה את יחסו אל הקראים בעקבות מעשה שהיה:
באותה תקופה הקראים היו תחת חסותה של העדה הספרדית. פעם אחת, בעקבות גזרה כספית קשה שניתכה אז על יהודי ירושלים, היה צורך לכנס את כל ראשי העדה ובראשם הראשל"צ במקום מוסתר ולטכס עצה באופן סודי כיצד להמציא כסף לנושים ולמושלים:
"להמתיק סוד במקום סתר לתת מוצא כסף בעתותי התלאות האלו, שלא עברה שנה שלא העלילו הישמעאלים על ישראל והכבידו עליהם במיסים וארנוניות חדשות מדי יום…"
ומשכך בחרו בבית כנסת הקראים, אשר היה בנוי במעמקי האדמה וירדו אליו במדרגות תלולות
הרב הגיע לכנס בשעה היעודה והחל לרדת במדרגות המובילות אל בית הכנסת שנמצא מתחת לאדמה.
בעת רדתו במדרגות, כאשר הגיע הרב אל אחת המדרגות התעלף ומעד ברגלו. תמהו תלמידיו לפשר הדבר ולחשו איש לרעהו שאולי הדבר נעוץ ברוח רעה השוכנת במקום. כששבה רוחו של הרבה, דרש לעקור את המדרגה ולבדוק מה יש מתחתיה. עם חשיפת היסודות של המדרגה התגלו מתחתיה כתבי הקודש של הרמב"ם. הרמב"ם בעת היותו רב הקהילה במצרים, נלחם רבות בדרך הקראים, ולכן ביקשו כך לבזותו.
בעקבות זאת, הרב מיוחס קילל את קהילת הקראים שלא יזכו בירושלים למניין.
מספרים שבשנת תקצ"ד הכינו עצמם עשרים משפחות מעדתם הקראים ממדינות קרים לבוא לירושלים, ובבואם לשערי ירושלים עשתה מגפת הדבר שמות באותם עולי רגלים ולבסוף לא עלה בידם להגיע לירושלים
במלחמת העצמאות היו ברובע קראים בודדים והם נלחמו כחלק מהיישוב היהודי ברובע. עם נפילת הרובע שניים מבניהם נפלו בשבי הירדני, בית הכנסת נבזז, וספר תורה עתיק, משנת 1322, נמכר בין סוחרי עתיקות בחו"ל. כעבור כמה שנים יצחק בן צבי הצליח לגאול אותו.
כיום חיה במקום משפחה קראית אחת השומרת על המקום ומתגוררת מעל בית הכנסת שעודנו קיים מתחת לאדמה.
(מתוך: תולדות חכמי ירושלים, א.ל פרומקין. ירושלים בין החומות, אברהם בן יעקב)