Visiting Hours הוקמה ב-2004 כאשר שלי מהרי (קולות) ונדב זילברשטיין (שירה) יצרו קשר בעקבות מודעה באינטרנט שהובילה להשמעות חומרים הדדיות.
זילברשטיין הוא סטודנט סאונד ואילו משלח ידה העיקרי של מהרי הוא גננת לגילאי 4-6. מהרי תרמה את קולה בעבר לשירים של סגול 59, גאזה ו-DJ Caress (אחיה של שלי). זילברשטיין חבר גם בלהקת החוזים ואף שיתף פעולה עם רותם אור (שיר שהלחין נכלל באי.פי שלה, Lightly Easily).

בתחילת 2005 הקליט הצמד שלושה שירים (I lie, California, Leave me alone) שיצאו כאי.פי בשם Three Songs ושראה אור בלייבל בייסמנט. כל העותקים שהוכנו לאי.פי אזלו. השיר California אף נכנס לאוסף "פולארויד 01" של השרת העיוור. לקראת סוף השנה נכנסו לאולפני פאסט מיוזיק והקליטו אי.פי נוסף בשם Sara’s April. זהו אי.פי מחווה למשוררת האמריקאית שרה טיסדייל (Sara Teasdale) והוא כולל חמישה שירים קצרים פרי עטה שהצמד הלחין. למעט שיר אחד, כל השירים הוקלטו בטייק אחד.

ב-2008 התארח הצמד באלבום הבכורה של DJ Caress, מכירת חיסול, עם השיר "יום ראשון עגמומי".