עומר אייל (אקא Ptyl) וצבי קופר (אקא Cooper) הקימו את PVC (כלומר Ptyl Vs Cooper) בנסיבות מעניינות: קופר חזה בהופעה של להקת האינדסטריאל-פאטיש גירל שאייל הקים, The Glam Bitches From Hell, שהופיעה מספר פעמים ספורים (ושכללה בין היתר את ליעד שר על הגיטרות!) ב-2003, הופעה שגרמה לו להתלהב מספיק כדי להציע לאייל להקליט שיר משותף ולראות אם יש בסיס לפעולה משותפת נרחבת יותר.

קופר, אז סולן הרכב מטאל בריטי בשם Nutcase וקלאבר ותיק בסצינת הטקנו הישראלית, ופתיל, יוצר דארק-EBM-אינדסטריאל טקנו, הקליטו את שירם הראשון, A 2 B Slave ב-2004, ראו כי טוב והרחיבו את פעילותם לכדי הקלטת אלבום בכורה ב-2005 בשם In Plastic. קדם לו אלבום רמיקסים משותף עם אנטיוכוס, בו כל הרכב ממקסס שירים של השני ולבסוף מבצעים שיר אחד במשותף ("In Da House"), שנגנז ולא ראה אור.

ב-2004 הפתיעו כאשר הופיעו במועדון הבארבי התל-אביבי בערב "קובי אשרת Vs. רוק", ערב מחווה של הרכבי רוק לשיריו של אושרת. בערב ביצעו את "תמיד אשה" של...פנינה רוזנבלום.