Nikolaj Rimski-Korsakov werd op 18 maart 1844 geboren in een adellijke familie en kreeg als onderdeel van zijn opvoeding muziekonderricht. Op twaalfjarige leeftijd werd hij lid van het zeekadettencorps en vanaf 1862 ging hij als marineofficier drie jaar op wereldreis. Al in 1861 leerde hij de componist Mili Balakirev kennen, die zijn groeiende liefde voor de muziek versterkte en hem overhaalde een echte muziekstudie te gaan volgen.
In 1865 leidde Balakirev de première van Rimski-Korsakovs eerste symfonie. Het succes van het symfonisch gedicht Sadko en zijn eerste opera Het meisje van Pskov waren voor Rimski-Korsakov aanleiding om de marine te verlaten. Hij werd inspecteur van de Russische marinierskapel (tot 1884) en in 1871 werd hem gevraagd hoogleraar compositie en instrumentatie aan het conservatorium te Sint-Petersburg te worden. Zelf dacht hij hiervoor niet geschikt te zijn door gebrek aan professionele scholing. Zijn vrienden van het Machtige Hoopje overtuigden hem ervan deze aanstelling te accepteren. Later gaf hij aan dat hij veel moest bijstuderen om zijn studenten voor te blijven. Veel belangrijke componisten kregen bij hem les, onder anderen Anatoli Ljadov, Anton Arenski, Aleksandr Glazoenov, Ottorino Respighi, Nikolaj Mjaskovski, zijn schoonzoon Maximilian Steinberg, Igor Stravinsky en Sergej Prokofjev.
Van 1874 tot 1881 was Rimski-Korsakov tevens directeur en dirigent van de muziekschool, van 1883 tot 1894 plaatsvervangend directeur van de hofzangerskapel en van 1886 tot 1900 dirigent van de door de muziekuitgever Mitrofan Beljajev georganiseerde Russische Symfonieconcerten. Ook in het buitenland trad hij succesvol op als dirigent. Hij was lid van het door Balakirev opgerichte Machtige Hoopje van vijf nationalistische componisten en zette zich belangeloos voor zijn vrienden in. Zo voltooide, bewerkte en instrumenteerde hij werken van Aleksandr Dargomyzjski (De stenen gast), Alexander Borodin (Vorst Igor) en Modest Moessorsgski (Nacht op de kale Berg). In de jaren 1874-1880 realiseerde hij zich dat hij kennis ontbeerde door zoveel tijd te geven aan de ontwikkeling van Russische muziek. Door veel zelfstudie en stimulerende contacten met Tsjaikovski wist hij zijn niveau te verbeteren tot professionele hoogte. Dit leidde onder andere tot een flinke herziening van zijn, uit 1865 daterende 1e symfonie, in 1884. Zijn werk aan het conservatorium moest hij in 1905 onderbreken, vanwege zijn sympathieën voor de revolutionaire studentenbeweging, maar in 1907 mocht hij weer in zijn oude aanstelling verder werken.
Hoewel Rimski-Korsakov vijftien opera’s schreef, is zijn naam lange tijd bijna alleen door zijn orkestwerken bekend geweest, met name door de symfonische suite Shéhérazade en het Capriccio Espagnol. Het muziekstuk De vlucht van de hommel is bij veel mensen welbekend, maar zij weten niet dat dit door Rimski-Korsakov is geschreven. Zijn kunstzinnige oeuvre werd sterk beïnvloed door de geschiedenis, sprookjes en volksmuziek van Rusland. Hij had een grote kundigheid in orkestratie en werd wereldberoemd door de kleurrijke, geraffineerde orkestklank van zijn composities. Zijn opera’s behoren in zijn vaderland weliswaar tot het vaste repertoire, maar worden in de westerse operahuizen nauwelijks opgevoerd. Dit is wel geweten aan de typisch Russische libretti, maar dat geldt ook voor de opera’s van Borodin en Moessorgski, die (ten dele dankzij hem) wél repertoire hebben gehouden. Dankzij de platenindustrie staan zij sinds 1990 echter steeds meer in de belangstelling. Van bijna alle opera’s zijn opnamen uitgebracht, vaak meer dan één.
Naast drie symfonieën, een pianoconcert en programmatische orkestwerken schreef Rimski-Korsakov kamermuziek, pianomuziek en koorwerken, ongeveer 60 liederen met pianobegeleiding en talloze bewerkingen van Russische volksliederen. Hij publiceerde ook muziekpedagogische- en theoretische werken.
Aan het eind van zijn leven leed Rimski-Korsakov aan angina pectoris. Hij overleed in Ljoebensk in 1908, en werd ter aarde besteld op de Tichvin-begraafplaats bij het Alexander Nevski Klooster in Sint-Petersburg.