עם השפעות של הבירת'דיי פארטי והוולווט אנדרגראונד, וייבים פוטוריסטים ודאדאיסטים ופופ מתקתק מעורבל בנויז, הפכו Mary & The Baby Cheeses לאחד ההרכבים מדוברים ב-2007, עם מוסיקה אקספרימנטלית ששילבה כלים אקוסטים, אלקטרונים וכאלה שלא ממש נכללים בקטגורית כלי נגינה. המנעד הרחב שבין הקלידים לתרמין ולרדיאטור מטבח גרם להם להשמע אקלקטים ביותר. פעם כמו קוקורוזי ופעם אחרת כמו דיאמנדה גאלאס.

גיל כהן, חצי הצמד זגונדר, עזב את חברו אליושה צינובוי והחל לחקור שדות נוספים כאשר הוא מציג לצידו פנים חדשות בסצינה. אם בזגונדר היתה זו דפנה הלר ששרה וכתבה, בצמד אלכסנדרה ואנה הוא משתף פעולה עם מאיה גולדשטיין (שאף היא השתתפה באלבומי זגונדר) ואילו Mary & The Baby Cheeses מביא לבמה את מאריה אוצ'ר, שבימים כתיקונם כותבת שירה ועוסקת באמנות חזותית, אך בהרכב ממקדת את אור הזרקורים בשירה עוצמתית, קורעת ריאות ולא פעם אפילו אלימה.

היתה זו דפנה שיצרה קשר עם מאריה באינטרנט והציעה לה להצטרף לגיל. מאריה, שהיתה מחוייבת להרכב אחר באותה תקופה, שלא זכה אפילו להופיע, שלחה לו הקלטות ביתיות ששכנעו את גיל להרים את הפרוייקט. הצמד החל ליצור מוסיקה על גבי כלים אקוסטים ואלקטרונים, רבים מהם לא ממש נכללים בקטגורית כלי נגינה. רן נחמיאס, היוצר אלקטרוניקה תחת השם NRAN, הצטרף מאוחר יותר כצלע השלישית בהרכב. נחמיאס כיסה מספר פעמים בהופעות ההרכב את ההמנון הלאומי על גבי תרמין כצעד מחאתי ואירוני, הנועד לחדד את הקשר שבין מלחמות, סירנות וימי זכרון בארץ.
 
כבר לאחר הופעות ספורות, קצרו תשבוחות מרחיקי לכת מפי מספר מבקרים. בינואר 2007 התארחו בתכנית "תא הכפפות" בקול הקמפוס והקליטו סשן חי בעל 11 קטעים.