Estudou na escola de cinema da Universidade de Nova Iorque, sem ter no entanto terminado os seus estudos. Optou antes por aproveitar o financiamento da bolsa de que dispunha para produzir o seu primeiro filme, Permanent Vacation.
A sua primeira grande produção ocorreu em 1982 com o filme Stranger Than Paradise, o que lhe valeu a aclamação da crítica pelo seu estilo próprio. Trata-se de um marco do cinema independente americano.
Em 1995, Jarmusch realizou Dead Man, um filme passado no Oeste da América do Norte no Século XIX, protagonizado por Johnny Depp e com Gary Farmer no elenco. Este filme viria a ser qualificado como Western, "anti-Western," e "pós-Western" por variados críticos. Além disso, é considerado como um dos poucos filmes filmados por um caucasiano capaz de transmitir de forma crível a cultura dos Índios Americanos. O filme foi filmado a preto e branco pelo director de fotografia Robby Müller e possui trilha sonora composta e tocada por Neil Young.
Seguindo o seu sucesso artístico, junto da crítica e junto do público de cinema independente, Jarmusch alcançou popularidade com um filme que aborda a violência e o crime em New Jersey, Ghost Dog: The Way of the Samurai. Este filme é protagonizado por Forest Whitaker e tem trilha sonora original composta por RZA dos Wu-Tang Clan.
Uma das suas mais idiossincráticas obras é Coffee and Cigarettes, uma série de curtas metragens que iniciou em 1986. Uma das primeiras curtas-metragens de seis minutos foi exibida no espetáculo Saturday Night Live e o seu elenco era Roberto Benigni e o comediante Steve Wright. Mais tarde editou uma segunda parte com 12 minutos a que deu o título Coffee and Cigarettes - Somewhere in California, e que conta com a participação dos músicos Iggy Pop e Tom Waits. Por volta de 1993, Jarmusch disse "Filmei outras duas que estão à espera de ser montadas, e já escrevi mais duas ou três. Apesar da intenção ser que funcionem separadamente, planejo filmar à volta de 12 ou 14 e juntá-las numa edição única em vídeo." Assim, a série foi sendo progressivamente expandida com nomes como Cate Blanchett, RZA, GZA, Bill Murray, Steve Coogan e Alfred Molina e Jack e Meg dos The White Stripes. A série completa acabou por ser exibida nas salas de cinema em 2004, e chegou ao Brasil com o nome "Sobre Café e Cigarros".