Dzimis Vologdas guberņā zemnieku ģimenē. 1912. gadā Koņevs pabeidza vietējo pagastskolu. No 12 gadu vecuma strādājis kā baļķu pludinātājs. 1916. gadā, Pirmā pasaules kara laikā, iesaukts armijā. Pēc artilērijas skolas pabeigšanas ieguvis unteroficiera pakāpi un nosūtīts uz Dienvidrietumu fronti. 1918. gadā demobilizēts no armijas. Tajā pašā gadā iestājies boļševiku partijā. Tika ievēlēts par apriņķa kara komisāru. Pēc tam Sarkanās armijas rindās karojis Krievijas pilsoņu karā.
Pēc kara ieņēmis dažādu militāro vienību komandiera amatu. 1934. gadā Koņevs pabeidza Mihaila Frunzes Kara akadēmiju. Pēc tam komandējis divīzijas, korpusus, armijas dažādās Padomju Savienības daļās. 1940. gadā ieguvis ģenerālleitnanta pakāpi. Otrā pasaules kara laikā (1941—45) bija Rietumu, Kaļiņinas, Ziemeļrietumu, Stepes, 2. un 1. Ukrainas frontes karaspēka pavēlnieks. Piedalījies Austrumeiropas atbrīvošanā no Nacistiskās Vācijas okupācijas, tostarp arī Berlīnes ieņemšanas operācijā. 1944. gadā ieguvis Padomju Savienības maršala pakāpi. 1944. un 1945. gadā apbalvots ar Padomju Savienības Varoņa goda nosaukumu.
No 1946. līdz 1950. gadam bija PSRS Sauszemes karaspēka virspavēlnieks. Pēc tam līdz 1955. gadam Koņevs bija Piekarpatu kara apgabala karaspēka pavēlnieks. No 1955. gada Varšavas līguma valstu Apvienoto bruņoto spēku virspavēlnieks (šajā amatā piedalījās arī Ungārijas revolūcijas apspiešanā). Reizē 1956. gadā iecelts par PSRS aizsardzības ministra vietnieku. 1960. gadā tika iecelts par PSRS Aizsardzības ministrijas ģenerālinspektoru. Neilgu laiku no 1961. līdz 1962. gadam bija Vācijas Padomju karaspēka grupas virspavēlnieks. Savas karjeras laikā ieņēmis arī politiska rakstura amatus, piemēram, 1937. gadā viņš tika ievēlēts par PSRS Augstākās Padomes deputātu, no 1952. gada bija PSKP CK loceklis.
Vikikrātuvē par šo tēmu ir pieejami multivides faili. Skatīt: Ivans Koņevs.
.svg){kind=small}