Big Lazy הוקמה ב-1996 כשלישיה ניו-יורקרית אינסטרומנטלית אול-אמריקאית לכל דבר ועניין. בחלוף עשור, אפשר לומר שהפלישה הציונית לתפוח הגדול הצליחה לשים ידיה על הלהקה. ההשתלטות כמעט הושלמה.

סטפן אולריך, ווילי מרטינז ופול דוגאן ניגנו מספר שנים ביחד בסצינת הג'אז המנהטנית. בתחילה נקראו Mild Thing, וכהגדרתם נשמעו כ"פרוייקט צד של צ'אט בייקר ואניו מוריקונה". במילים אחרות, הם ניגנו יצירות אינסטרומנטליות "שחורות", ספוגות באטמוספירה דכאונית נוסח הפילם נואר. ב-1996 הקליטו אי.פי ראשון בשם Amnesia תחת השם Lazy Boy.  האי.פי זכה לביקורות מפרגנות במקומונים הנחשבים "The New Yorker" ו-"Village Voice" וזיכה אותם בחשיפה מחוף לחוף כאשר רשת הטלויזיה NBC השתמשה באי.פי בשלמותו כפסקול לפרקי הסדרה  "Homicide: Life On The Streets".

ב-1999 קיבלה הלהקה מכתב אזהרה מחברת רהיטים מקורית בשם La-Z-Boy להפסיק את השימוש בשם זה מחשש לפגיעה ובלבול אצל הלקוחות. הלהקה החליטה לא להתחרבש יותר מדי בעסק הזה ושינתה שמה לביג לייזי. מרטינז עזב את הלהקה ואת מקומו תפס תמיר מוסקט, שכבר אז ניגן באקטים הצועניים / בלקניים המקומיים Firewater וגוגול בורדלו (ולעתיד ישתף פעולה עם אולריך בשעטנז). באותה שנה הקליטו את האלבום השני, הנושא את שמם. גם אלבום זה זכה לביקורות מפרגנות. לדבריהם, התגובה הנפוצה לאלבום היתה "You're playing the soundtrack to my life". לאחר צאתו, ערכה הלהקה מסע הופעות ברחבי העולם.

ב-2002 הופיעו בישראל ומיד לאחר חזרתם לארה"ב, התבודדו בבית משפחתו של אולריך בורמונט, ובראש שקט כתבו את אלבומם הבא, New Everything. כשחזרו לניו-יורק, נכנסו לאולפני ויברומונק של מוסקט להקלטת האלבום בעזרתו האדיבה של דני שצקי. האוירה הקדורנית, האפלה והמיוחדת שלהם קיבלה גב תומך משלל מוסיקאים, רובם ישראלים: אמן הנויז גידי רז, הסולנית ויקטוריה חנה והסקסופוניסט אורי קפלן (שעטנז, בלקן ביט בוקס). אפילו הקולנוענית דנה יבין השתתפה בחגיגה הישראלית, בעודה מצלמת חומרים בתהליך ההקלטות עבור דוקומנטרי עתידי. ועוד נקודה ישראלית: רמיקס של אחד השירים באלבום - Lady of the Highways, נכלל בפסקול הסרט "מלאך מקומי" של אודי אלוני.

אלבום זה זיכה אותם סופית בתהילה המיוחלת כל כך על שלל הלהקות של דאון טאון ניו יורק. ה-Village Voice כינה את הלהקה "הקרם דה לה קרם של התפוח הגדול". ב-2004 הוציאו סינגל 7" בלייבל Chicken Runch ובו שני שירים (All Y'All / Mysteries of the Deep) שהוקלטו בהופעה חיה.