Всего по состоянию на 1 декабря 1940 года в Красной Армии имелось 130 танков КВ, а к 1 июня 1941 года - 504.
К началу войны танки КВ имелось в составе 2-й танковой дивизии 3-го механизированного корпуса Прибалтийского Особого военного округа (78 КВ) 4, 7-й танковых дивизиях 6-го механизированного (63 и 51 КВ соответственно), 29, 33-й танковых дивизиях 11-го механизированного (2 и 1 КВ соответственно) корпусах Западного Особого военного округа, 4-м механизированном (101 КВ), 8-м механизированном (71 КВ), 15-м механизированном (64 КВ), 22-м механизированном (31 КВ) и 19-м механизированном (5 КВ) корпусах Киевского Особого военного округа, 2-м механизированном (10 КВ) корпусе Одесского военного округа, а также в Саратовском танкотехническом училище (19 КВ), Орловской танковой школе (8 КВ), Ленинградских курсах усовершенствования комсостава танковых войск (6 КВ), в Московской академии моторизации и механизации им. Сталина (4 КВ) и Харьковском военном округе.
Довольно много КВ было и в составе 1-й танковой дивизии, действовавшей под Красногвардейском (г. Гатчина Ленинградской области). Именно здесь совершила свой подвиг рота старшего лейтенанта Зиновия Колобанова, подбившая за один день 42 немецких танка. В журнале военных действий дивизии об этих боях сказано следующее: «19 августа 1941 года в районе Б. Борница рота Колобанова уничтожила 42 танка, из них экипаж старшего лейтенанта Колобанова - 22, экипаж лейтенанта Сергеева - 8, экипаж лейтенанта Евдокименко - 4, экипаж лейтенанта Ласточкина - 4...Колобанов подпустил к себе немецкую танковую колонну на 150-200 м, а лейтенант Евдокименко расстрелял ее с расстояния 100 м. Там же механик-водитель Иовлев протаранил два средних танка противника, а водитель Сидиков в районе Черницы протаранил средний танк».
Несмотря на мощную броню, вооружение и героизм отдельных экипажей, танки KB не сыграли в летних боях 1941 года никакой существенной роли. Основная часть этих машин вышла из строя по техническим причинам, из-за неграмотной эксплуатации, отсутствия запасных частей, средств эвакуации и ремонта. Кроме того, немцы, выяснив что бороться обычными противотанковыми средствами в KB невозможно, с успехом использовали против этих танков 88-мм зенитные орудия Flak36. Тем более, полное господство в воздухе позволяло использовать для борьбы с танками все дивизионы ПВО.
К концу 1941 года большая часть КВ-1 с пушками Ф-32 и Л-11, а также почти все КВ-2 (за исключением нескольких машин), были потеряны. Правда, отдельные КВ ранних выпусков (до ноября 1941 года), судя по фотографиям, встречались на фронте до лета 1942 года. Под Ленинградом эти машины воевали до весны 1944 года.
При грамотном использовании КВ могли успешно бороться и с немецкими танками. Например, командир взвода 158-й танковой бригады Юго-Западного фронта Д. Шолохов 30 июля 1942 года в районе населенного пункта Нестерное уничтожил на своем КВ 8 танков противника, а командир КВ 15-й танковой бригады С. Коновалов, прикрывая отход товарищей у хутора Нижнемитякин Ростовской области, остановил вражескую колонну, уничтожив 16 танков, 2 бронеавтомобиля и 8 автомашин.
В августе 1942 года экипаж КВ «Ленин» гвардии старшего лейтенанта И. Паршкова 57-й гвардейской танковой бригады в бою за деревню Рыкалово уничтожил два немецких танка. В ходе боя КВ Паршкова был подбит. Заняв оборону около танка и замаскировав машину, экипаж в течение шести суток удерживал занятый рубеж, уничтожив три танка, четыре противотанковых орудия и до сотни немецких солдат.
Генерал-майор И. Вовченко, прибывший на фронт для определения качества тяжелых танков осенью 1942 года, написал: «...В руках опытных водителей танк КВ отработал в походе и в бою по пять тысяч часов, машины прошли без ремонта мотора по три тысячи километров. Это почти в три раза больше, чем предусмотрено техническими условиями эксплуатации танков. Семьдесят снарядных вмятин на броне и три тысячи пройденных километров! На этих танках можно дойти до Берлина без ремонта».
К концу 1942 года большая часть танков КВ-1 была потеряна. Главным образом они оставались в составе частей на фронтах, не ведущих активных боевых действий - Ленинградском, Волховском, Карельском. Небольшое количество КВ-1 участвовало в боях на Курской дуге летом 1943 года, а отдельные танки воевали до осени 1944 года.
Танки КВ были сняты с производства в 1942 году.