ספר רבי אהרן ליב שטינמן שליט"א (הובא בחוברת "מזקנים אתבונן"):

בעל ה"לבושים", רבי מרדכי יפה זצ"ל, שהיה אדם גדול ביותר, תלמיד של הרמ"א, זכה לחיבורו, וקרא לו בשם ה"לבוש" על שם מסירות נפשו להמלט מעברה, מגויה שרצתה להכשילו, ונכנס לבור מלא צואה. באותה העת לבש עשרה מלבושים, וכנגד כל בגד שהתלכלך זכה לחבר ספר – "לבוש התכלת", "לבוש החור", "לבוש הארגמן"... עשרה לבושים.

וכיון שהיה יפה מאד [ולכן קראו שמו "יפה"] וגרם הדבר לנסיון עם הגויה, הוא גזר-בקש, שצאצאיו יהיו מכוערים עשרה דורות. והוסיף הרב שטינמן שליט"א, שמספרים על בן ישיבה יפה תאר, שאביו בא לבקרו והאב היה כחוש ורע למראה מאד, עד שהיה נדמה כי אין זה אביו, וכששאלוהו לפשר הדבר ענה, שהוא דור עשירי לבעל הלבושים, ועליו חלה עדין הגזרה, ועל בנו שהוא כבר דור אחד-עשר, הגזרה כבר אינה חלה.