Ako tréner bol Kozák známy nielen výbušnou povahou, ale aj systematickou prácou s hráčmi. Začal na lavičke Lokomotívy Košice a neskôr v rokoch 1996-1997, 1998-1999 viedol 1. FC Košice. Bol prvý, kto slovenský tím priviedol do skupinovej fázy Ligy majstrov a to v sezóne 1997/1998 mužstvo 1. FC Košice. S Košičanmi oslavoval dva tituly majstra Slovenska (1997, 1998).
Po dvojročnej prestávke okúsili v rokoch 2002-2003 Kozákove trénerské metódy hráči Zemplína Michalovce. V rokoch 2004/2005 viedol aj Steel Trans Ličartovce. Ako tréner sa do Košíc vrátil v roku 2005, keď prevzal MFK Košice. V roku 2009 priviedol tím k triumfu v Slovenskom pohári. MFK Košice trénoval aj v rokoch 2012-2013.
Búrlivé črty svojej povahy skrotil ako tréner slovenskej reprezentácie, v ktorej pôsobil od júla 2013. V roku 2016 Kozák priviedol reprezentačný tím na historické prvé ME. Slovensko sa na šampionáte vo Francúzsku dostalo po úvodnej prehre s Walesom (1:2), víťazstve nad Ruskom (2:1) a nerozhodnom výsledku s Anglickom (0:0) z náročnej B-skupiny do osemfinále, v ktorom však nestačilo na Nemecko (0:3).
Po neúspešnej kvalifikácii na MS do Ruska a tiež po nezhodách s niektorými reprezentantmi rezignoval Kozák 14. októbra 2018 na post reprezentačného trénera. Na lavičke národného tímu odkoučoval 54 stretnutí s bilanciou 29 víťazstiev, 10 remíz a 15 prehier. V tradičnej ankete Slovenského futbalového zväzu (SFZ) a denníka Pravda vyhlásili Jána Kozáka za trénera roka celkovo päťkrát (2013, 2014, 2015, 2016, 2017).
„Keď už som si ani nemyslel, že sa to môže stať, tak v závere kariéry som sa ako 60-ročný stal reprezentačným trénerom. Naplňovali sme štadióny. Mužstvo, ktoré som viedol, dokázalo v dvoch zápasoch poraziť majstrov sveta, či už Španielsko a Nemecko, čo je pre našich hráčov veľkolepá udalosť. Bolo toho dosť, sú to krásne spomienky," dodal Kozák pre TASR.
Držiteľ Ceny fair play MUDr. Ivana Chodáka za roky 2007 a 2008 je ženatý od roku 1975. S manželkou Ivetou majú syna Jána, bývalého úspešného futbalistu a slovenského reprezentanta a dcéru Patríciu. Aj Kozákovi vnuci Filip, Ján a Yannick sa aktívne venujú futbalovej kariére.
V decembri 2015 pokrstili trávou z futbalového štadióna košickej Lokomotívy autobiografiu trénera Jána Kozáka pod názvom "Príbeh futbalového rebela".
