Figlio di un ebanista, Zumthor imparò falegnameria fin da piccolo. Negli anni sessanta ha studiato al Pratt Institute di New York. Ha lavorato a molti progetti di restauro storici, che gli hanno permesso di conoscere più a fondo le relazioni tra i vari materiali. I suoi edifici esplorano le qualità tattili e sensoriali di spazi e materiali, pur mantenendo una sensazione minimalista.
Tra i vari riconoscimenti internazionali conseguiti, Zumthor ha ricevuto nel 1989 la medaglia d’oro Heinrich Tessenow dalla Heinrich-Tessenow-Gesellschaft e.V. (Alfred Toepfer Stiftung F.V.S.), nel 1996 la Thomas Jefferson Medal in Architecture, nel 1998 il Carlsberg Architecture Prize per il progetto del museo di Bregenz (Austria) e per i bagni termali a Vals nel Canton Grigioni (Svizzera). Prima di essere insignito nel 2009 del Premio Pritzker, ha anche ricevuto nel 2008 il Praemium Imperiale dall'imperatore del Giappone.
Ha insegnato al Southern California Institute of Architecture di Los Angeles, alla Technische Universität di Monaco, alla Harvard Graduate School of Design e all'Accademia di architettura di Mendrisio (Università della Svizzera Italiana). I lavori di Zumthor in gran parte non sono stati pubblicati in parte a causa delle sue credenze filosofiche sul fatto che l'architettura deve essere sperimentata di prima mano. Il suo lavoro scritto pubblicato è principalmente di tipo narrativo e fenomenologico. Attualmente lavora nel suo atelier, fondato nel 1979 a Haldenstein.