Koch sündis Hermann Kochi ja tema naise Mathilde Julie Henriette (sündinud Biewand) pojana. Juba lapsena paistis ta tarkusega silma. Veel enne kooliminekut 1848 õppis ta iseseisvalt lugema ja kirjutama. Ta lõpetas keskkooli1862, saavutades häid tulemusi reaalainetes.
1863 astus ta Göttingeni ülikooliloodusteadusi õppima, aga kahe semestri möödudes vahetas ta õppesuunda ja asus õppima arstiteadust. Viienda semestri ajal kutsus anatoomJacob Henle teda osalema oma emaka närvistruktuuri uurimise projektis. Kuuendal semestril hakkas Koch füsioloogiainstituudis iseseisvalt uurima happeeritust. See sai lõpuks tema väitekirja aluseks. 1866. aasta jaanuaris lõpetas Koch ülikooli meditsiiniteaduskonna kiitusega.
Koch abiellus1867 Emma Adolphine Josephine Fraatziga. Järgmisel aastal sündis neil tütar Gertrude. Abielu lõppes 1893 ja samal aastal abiellus Koch uuesti näitleja Hedwig Freibergiga.
9. aprillil1910 tabas Kochi südamerabandus ja sellest ta enam ei taastunud. Oma viimase loengu pidas ta 24. mail 1910 Berliini teaduste akadeemias, kõneldes tuberkuloosist. Kolm päeva hiljem ta suri. Pärast tema surma nimetas Göttingeni ülikooli füsioloogiainstituut ühe osakonna tema järgi ümber.