The Mountain Goats s'est formé en 1991 à Claremont (Californie) sous l'impulsion de John Danielle. Il commence à se produire seul sous ce pseudonyme. Entre 1991 et 1994, il signe plusieurs cassettes éditées par le label Shrimper. En 1995, The Mountain Goats sort Zopilote Machine. Suivent Sweden (1995), Nothing for Juice (1996), Full Force Galesburg (1997), The Coroner's Gambit (2000) et All Hail West Texas (2001). En 2002, le groupe décroche un contrat chez le label 4AD. Suivent Tallahassee (2003), We Shall All Be Heated (2004), The Sunset Tree (2005) et Get Lonely (2006). En 2008, The Mountain Goats signe un nouvel opus baptisé Heretic Pride.