זבוב עם גרוב הוקמה אי שם בסוף שנות התשעים על ידי חבורת צעירים מצפון הארץ, אך רק בקיץ 2004 יצאו לדרך באופן רשמי. מנהיג הלהקה וכותב השירים הראשי הוא עדי מהלר. סגנון הלהקה מושפע בעיקר מרוק קלאסי וודסטוקי מהסבנטיז, נוסח Free, ולהקות הסול של מוטאון עם דגש על הרמוניות קולות (נוסח הפלייטרס) ומשולב בו הומור - הן לירי והן בימתי (למשל, השיר Furry Belly Mary בעל הניחוח האירי / קלטי).

כהרכב היוצר באנגלית, הצטרף לאירגון Misc, המקדם הרכבים יוצרים בארץ בשפה האנגלית. ב-2005 הופיע בערב השקת אוסף האירגון, MISCollection, בו נכלל שירם Pet Thing. השיר עצמו ועוד שישה אחרים יצאו באלבום You Might Not Know It But We're Big In Zimbabwe באותה שנה.

בספטמבר 2005 פרש זוהר ירושלמי מן הלהקה ואת מקומו תפס רועי אברהם, המתופף גם בלהקות איסתרא ו-Coral Valley. כעבור שנתיים שחררו את האי.פי השני 0.6, מתוכו בלט השיר Sandrine. עם הזמן הלהקה שמה דגש חזק יותר על ההופעה החיצונית, וזו הפכה עם הזמן לסימן ההיכר שלה. אם בחליפות קצבים מוכתמות בדם, כפיראטים עם שבריות או גלימות צבעוניות בהן נראו כפרפרי חופש, ובהן הופיעו במבחני הבד של העונה השביעית של כוכב נולד. הרושם הראשוני עשה את שלו, אך הלהקה לא צלחה את השלבים הבאים ונותרה מחוץ לתכנית.