ג'ו מאמא הוקמה ב-2004 ע"י ג'ו קוסטה. סביבו איגד חבורה של מוסיקאים הפעילים בלהקות הלייבל היפיז - אנרגיה חולנית, גאזה סטריפרז, המורדים הפלסטיים, Ice Cream וכו'. ההרכב מנגן אלקטרו-רוק משולב עם Pאנק, גרוב ורוקאבילי.

ליין-אפ ההרכב השתנה מאז הקמתו וגם בתוך ההרכב משנים חבריו את תפקידם על הכלים. בגרעינו, מורכב מגלית אופגנג (שירה), ארז סימון (באס) וקוסטה על התופים. אלבום הבכורה, For Her Pleasure, יצא ב-2004 בלייבל Hippies כאשר השיר Lil' Story מתוכו נכלל באוסף הראשון של הבלום באר. באלבום אף נכללת גירסת כיסוי ללהיט הניינטיז המשובח (Hello (Turn the Radio On של Shakespear's Sister. שנה מאוחר יותר יצאו שני שירים חדשים על גבי סינגל - "תשאירו לה שלוק" ו"האוטו נשאר".

ב-2006 התגבש הרכב חדש, שמנה את קוסטה ג'ו, גלית אופגנג, רוני סלואו-גאן ונגנים אורחים. ההרכב הוציא אי.פי נוסף, ?What's That Thing. ב-2007 המשיכו קוסטה וגלית להרכיב ולפרק את עצמם לדעת והפעם עם ג'ני כטריו פליט של ג'ו מאמא, והשם אפילו מרמז על כך - Rock'N'Roll Leftovers, שהוציאו אי.פי בשם Six-Tracks Pack בלייבל היפיז לקראת סוף השנה.