The Fiery Furnaces s'est formé en l'an 2000 à Brooklyn (New York) autour des frères et soeurs Matthew Friedberger et Eleanor Friedberger. En 2002, le duo est signé par le label Rough Trade. L'année suivante, The Fiery Furnaces sort son premier album Gallowsbird's Bark. Il est rejoint ensuite par Andy Knowles (batterie) et Toshi Yano (basse) pour donner des concerts. Suit un deuxième opus baptisé Blueberry Boat (2004). En 2004, The Fiery Furnaces part en tournée avec Franz Ferdinand et The Shins. L'année suivante, il revient avec son troisième album Rehearsing My Choir. The Fiery Furnaces passe ensuite de Rough Trade à Fat Possum. Il livre alors un nouvel opus baptisé Bitter Tea (2006). En 2007, The Fiery Furnaces rejoint l'écurie Thrill Jockey et sort l'album Widow City produit par John McEntire (Tortoise). L'année suivante, le duo revient avec le live Remember.