Sweelinck is niet zozeer een nakomer van de Nederlandse polyfonisten, dan wel een groot Nederlander van het begin van de Gouden Eeuw. Hij werd geboren in mei 1562 in Deventer. Op zijn vier verhuisde het gezin Sweelinck naar Amsterdam. Zijn vader was organist en clavecinist in dienst van de kerk, en eerste leraar van Jan. Dit bleek toen de elfjarige Sweelinck na de dood van de oude Sweelinck regelmatig de kerkdiensten verzorgde.

In 1580 werd hij tot stadsorganist aangesteld (in 1578 had de stad Amsterdam zich bekeerd van rooms-katholiek tot hervormd geloof, zodat de kerkambtenaren meteen ook in stadsdienst kwamen). Met zijn rooms-katholieke achtergrond moest de 18-jarige Sweelinck in de eerste plaats zijn baan redden: de zin van dat afleidend orgelspel tijdens de kerkdiensten werd in twijfel getrokken. Aan de andere kant bezorgde het de onderdanen toch edeler vermaak dan de taveernen, zodat hij alvast voorlopig mocht aanblijven. Meer zelfs: de kerk en het orgel werden ook als decor voor wereldlijke aangelegenheden gebruikt.

Naast zijn orgelimprovisaties en variaties op bekende volksliederen, componeerde hij ten behoeve van de muziekminnende burgerij vijfstemmige Franse chansons: verder de “Psalmen Davids” (de 150 calvinistische Franse berijmingen van Marot en de Bèze, polyfone bewerkingen van de Geneefse melodieën), twee- en driestemmige “Rimes” op Franse en Italiaanse teksten en de “Cantiones Sacrae”. In deze vocale werken toont Sweelinck zich een late nabloeier van de Nederlanders. Anders is zijn betekenis als orgelcomponist en pedagoog: in 1606 kwamen de eerste leerlingen uit Duitsland, en dit was de aanleiding tot zijn beroemde bijnamen de Vader van de Hervormde orgelcultuur of de Duitse Organistenmaker.

Sweelinck schreef voor orgel toccata’s variaties op liederen, dansen en koralen, 6 Echo-fantasieën, 14 monothematische fantasieën (voor lopers van de fuga) en 7 canons. Zijn belangrijkste leerlingen waren Samuel Scheidt, Peter Hasser, Heinrich Scheidemann en Gottfried Scheidt. Een van de twee worteltakken van J.S.Bachs stamboom als organist loopt trouwens van Sweelinck (die een synthese bereikte van de virginalisten- en polyfonistenstijl) over Scheidemann en Reinken.

Hij stierf op 16 oktober 1621. Als stadsorganist werd hij opgevolgd door zijn zoon Dirck.