В мае 1941 года Коневу поручили возглавить спешно созданную из частей Северо-Кавказского округа 19-ю армию, которой предстояло сдерживать немцев на Западном фронте. Вся армия не успела прибыть в Витебск, и город взяли фашисты. Под Смоленском войска были окружены врагом, однако сам Конев вместе со штабом армии и полком связи сумел вырваться из кольца.

Иосифу Сталину тогда понравилось, как Конев руководил армией. Его произвели в генерал-полковники и назначили командующим Западным фронтом. Войска Западного фронта с начала войны терпели поражение за поражением, фашистские войска стремительно продвигались на восток. Остановить противника не удавалось никому. Первый командующий Западным фронтом генерал Дмитрий Павлов был отстранен, а вскоре арестован и расстрелян, затем фронт возглавил генерал-лейтенант Андрей Еременко, после этого его сменил маршал Семен Тимошенко. Не удалось остановить продвижение противника и Коневу.

В начале октября 1941 года гитлеровская армия нанесла новый мощный удар, прорвав оборону Западного фронта в районе Вязьмы. В сражении под Вязьмой, по разным оценкам, погибли и были взяты в плен от 400 000 до 700 000 человек. Немцы уже вплотную приближались к Москве. Спешно собранные части армии, а также ополченцы ценой своих жизней спасли столицу от захвата.

Конев едва не попал под трибунал, комиссия Государственного комитета обороны во главе с Вячеславом Молотовым и Климентом Ворошиловым должна была решить его судьбу. От возможного расстрела Конева спас тогда Георгий Жуков, который убедил Сталина в том, что он сделал все возможное на тот момент. Осенью Конев будет командовать Калининским фронтом.

Битва за Москву

Части Калининского фронта отличились в контрнаступлении под Москвой и уже в декабре 1941 прорвали оборону немецкой армии. Разгром фашистских войск под Москвой стал началом значительного поворота в ходе войны и истории, а сам Конев будет считать сражение за столицу своей главной битвой. Тогда удалось сорвать немецкий сценарий «быстрой войны», а также развеять миф о «непобедимости» гитлеровской армии. И это несмотря на то, что советские войска уступали противнику в количестве военной техники.

Красная армия освободила Калинин, Клин, Истру, Волоколамск и другие подмосковные города. Советским войскам удалось отбросить гитлеровцев на сотни километров от столицы, полностью освободить Московскую, Тульскую, Калининскую, Рязанскую области и частично Смоленскую и Орловскую.

В январе 1942 года войска Конева вышли к Волге северо-западнее Ржева и действовали против Ржевского выступа. Гитлеровцы вынуждены были перебросить сюда силы, ранее предназначенные для действий на южном фланге. Это облегчало положение войск Красной армии, сражавшихся под Сталинградом и на Кавказе.

Возглавил Степной фронт

В июле 1943 года Конев был назначен командующим Степным фронтом. Во время Великой Отечественной войны фронты обычно называли по территориальному признаку. Сталин сообщил ему, что тот будет руководить резервным фронтом. Поскольку войска этого фронта были разбросаны по степям, было решено назвать его Степным. Накануне битвы на Курской дуге войска фронта были развернуты в резерве за Центральным и Воронежским фронтами. В случае прорыва противника войска Конева должны были остановить его продвижение.

В июле войска Степного фронта нанесли контрудар по фашистам. Утром 5 августа 1943 года войска пошли на штурм Белгорода, и к вечеру того же дня город был полностью очищен от немцев. В честь этой победы, а также освобождения Орла 5 августа в Москве состоялся салют. 13 августа войска Конева подошли к Харькову, а 22 августа ночью пошли на штурм города. На следующий день Харьков был очищен от фашистов. Коневу присвоили звание генерала армии и орден Суворова I степени.  

В конце сентября 1943 года армия Конева форсировала Днепр. В октябре 1943 года Степной фронт был переименован во 2-й Украинский фронт, Конев остался его командующим и в октябре-декабре 1943 года провел Пятихатскую и Знаменскую операции, а в январе 1944 года - Кировоградскую операцию.

Корсунь-Шевченковская операция

Полководческие способности Конева в максимальной степени раскрылись во время Корсунь-Шевченковской операции, проводившейся с 24 января по 17 февраля 1944 года. Ее цель - уничтожить гитлеровцев в выступе, образовавшемся в результате Житомирско-Бердичевской и Кировоградской операций. Эта группировка включала части сил немецких 1-й танковой и 8-й полевой армий группы армий «Юг» под руководством генерал-фельдмаршала Э. Манштейна.

В общей сложности в нее входили 10 пехотных, две танковые дивизии, моторизованная бригада СС «Валлония», четыре дивизиона штурмовых орудий, а также большое количество артиллерийских и инженерных частей усиления. Ее поддерживала авиация 4-го воздушного флота. Всего корсунь-шевченковская группировка противника насчитывала более 170 тысяч человек, 1 640 орудий и минометов, 140 танков и штурмовых орудий, до 1 000 самолетов.

Конев нанес неожиданный мощный удар по силам противника, окружив в районе Звенигородки около 80 тысяч немцев. Манштейн попытался прорвать окружение, но Конев вовремя перебросил в этот район 5-ю гвардейскую танковую армию. За успешную реализацию операции Конев был удостоен звания Маршала Советского Союза. Кроме того, 23 советским частям и соединениям присвоены почетные наименования Корсуньские, шести соединениям - Звенигородские. 73 военнослужащих удостоились звания Героя Советского Союза, из них девять - посмертно.

Уманско-Ботошанская операция

После поражения в Корсунь-Шевченковской операции немцам тяжело было пополнить разгромленные дивизии. Советская разведка установила, что свободных резервов у противника нет, а части, которые противостоят 2-му Украинскому фронту, деморализованы и нуждаются в пополнении. Поэтому немецкому командованию необходимо было снимать войска с других направлений и перебрасывать их в район наступления Красной армии.

Войска 2-го Украинского фронта приступили к осуществлению Уманско-Ботошанской операции. Она началась 5 марта 1944 года, а завершилась 17 апреля 1944 года. В ходе этой операции была разгромлена 8-я немецкая армия. За месяц боев советские воины прошли на запад более 300 километров, освободили значительную часть Правобережной Украины, Молдавской ССР, перешли границу Советского Союза и 26 марта вошли в Румынию.

Заключительный этап войны

С именем маршала Конева связаны блестящие победы на заключительном этапе войны. Ему удалось освободить польскую Силезию, где немцы собирались уничтожить промышленные районы страны. Великолепно действовали его войска в Берлинской операции и в Пражской операции. Благодарные чехи стали после этого почитать маршала как освободителя Праги. За проведение наступательных операций на заключительном этапе войны Конев был во второй раз удостоен звания Героя Советского Союза.

Когда обсуждалось проведение Парада Победы на Красной площади, Сталин предложил именно Коневу возглавить шествие, однако тот отказался. Свое решение он объяснил тем, что хотел бы пройти со своими войсками. По Красной площади маршал прошел вместе с бойцами 1-го Украинского фронта.