Виктор Григорьевич Жолудев родился 22 марта 1905 года в городе Углич Ярославская губерния в семье рабочего. После получения неполного среднего образования в 14 лет пошел работать плотогоном на Волгу. С переездом в Москву в 1921 году работал в порту.

В мае 1922 года призван в РККА и направлен на учебу на Московские инженерные курсы, однако вскоре был переведен на 2-е Петроградские пехотные курсы, после окончания которых в сентябре 1923 года назначен на должность младшего командира дивизионной школы в составе 36-й стрелковой дивизии (5-я Краснознаменная армия), а в 1924 году переведен в 106-й Сахалинский стрелковый полк и назначен на должность командира взвода.

После окончания Сибирских повторных курсов комсостава РККА, дислоцированных в Иркутске, в августе 1925 года вернулся в полк и назначен на должность командира пулеметного взвода полковой школы, а в 1927 году — на должность командира роты, после чего принимал участие в боевых действиях в ходе конфликта на КВЖД, во время которого был ранен в ногу.

В ноябре 1929 года Жолудев направлен на учебу на курсы усовершенствования командного состава по физическому образованию, дислоцированные в Ленинграде, после окончания которых в 1930 году назначен на должность инструктора физической подготовки 36-й стрелковой дивизии (Забайкальская группа войск ОКДВА), в мае 1932 года — на должность командира учебного батальона в составе 107-го Владимирского стрелкового полка той же дивизии, а в мае 1934 года — на должность командира 36-го авиадесантного отряда (Забайкальская группа войск ОКДВА). После окончания двух курсов Военной академии имени М.В. Фрунзе в июле того же года направлен на курсы усовершенствования командного состава по авиадесантной подготовке, дислоцированные в Чите, после окончания которых вернулся в авиадесантный отряд (с мая 1935 года находился в составе ЗабВО). В 1935 году окончил курсы проводников в Чите.

В июле 1936 года вновь назначен на должность командира стрелкового батальона в составе 107-го Владимирского стрелкового полка (36-я стрелковая дивизия), в августе — на должность командира моторизованного батальона в составе 57-го особого корпуса, дислоцировавшегося на территории МНР. Находясь на данной должности, Жолудев с июля по август 1938 года принимал участие в боевых действиях у озера Хасан. В сентябре того же года назначен на должность помощника командира по строевой части 159-го стрелкового полка (Приволжский военный округ), а в июле 1939 года — на должность командира 110-го отдельного стрелкового полка (Забайкальский военный округ), после чего принимал участие в боевых действиях на реке Халхин-Гол.
В августе 1939 года Жолудев назначен на должность заместителя начальника отдела боевой подготовки штаба Приволжского военного округа, а с января 1940 года исполнял должности командира сначала 20-й, а затем 18-й запасных стрелковых бригад, дислоцировавшихся в Казани.

В марте 1941 года назначен командиром сначала 199-й стрелковой дивизии (Киевский военный округ, однако в эту должность не вступил, и в начале апреля — назначен командиром 234-й стрелковой дивизии, а в мае того же года — на должность командира 6-й воздушно-десантной бригады (3-й воздушно-десантный корпус, Одесский военный округ), формировавшегося в Первомайске (Николаевская область).

В начале июля 1941 года 6-я вдбр под командованием Жолудева была передислоцирована в район Киева. Вскоре группа армий «Юг» противника дошла до Киевского укрепленного района и заняла аэродром и поселок Жуляны, находящиеся под городом. Утром 6 августа выбила немцев с аэродрома и поселка, однако в этот же день противник нанес контрудар по позициям бригады, и в ходе одной из атак группа автоматчиков противника вышла к КП бригады. Собрав офицеров штаба и комендантский взвод, Жолудев организовал оборону, после чего атака была отбита. В ходе этого боя Жолудев был ранен, однако остался в строю.

В течение 8 — 12 августа противник наносил контрудары в полосе обороны 3-го воздушно-десантного корпуса, в результате чего им был занят аэропорт, однако на рассвете 13 августа корпус перешел в наступление, в ходе которого части противника отступили от Киева на 15 километров.

В конце августа корпус был передислоцирован севернее Конотопа на рубеж реки Сейм с целью отражения удара 2-й танковой группы. В начале сентября полковник Жолудев назначен на должность командира 212-й воздушно-десантной бригады. 17 сентября был получен приказ о выходе корпуса из окружения, после чего пройдя с боями около 200 километров, он вышел из окружения и 29 сентября занял оборону на правом фланге 40-й армии. В тот же день Жолудев был отозван в Москву и 1 октября назначен на должность командира 1-го воздушно-десантного корпуса, формировавшегося в городе Марксштадт (Приволжский военный округ).

В июле 1942 года 1-й воздушно-десантный корпус был преобразован в 37-ю гвардейскую стрелковую дивизию, а Жолудев назначен ее командиром. Вскоре дивизия была направлена на Сталинградский фронт и с ходу контратаковала врага, форсировавшего Дон в районе станицы Трехостровской, в результате чего плацдарм противника был ликвидирован.

30 сентября дивизия была передана в состав 62-й армии под командованием генерала В.И. Чуйкова и в ночь на 3 октября передислоцирована в Сталинград и затем вышла к реке Мокрая Мечетка, где контратаковала противника, который вскоре отступил с нескольких улиц в районе Тракторного завода. 14 октября на участке дивизии противник перешел в наступление. В середине дня 30 бомбардировщиков бомбили овраг за Тракторным заводом, где находился командный пункт Жолудева. В результате бомбардировок штабные блиндажи были завалены, а В.Г. Жолудев был контужен. Затем неделю велись бои в цехах Тракторного завода, а затем они перенесены в район заводов «Баррикады» и «Красный Октябрь», в ходе которых дивизия практически была уничтожена. После контрнаступления под Сталинградом, оставив в городе сводный полк, 37-я гвардейская дивизия была направлена на переформирование. Вскоре, зимой 1943 года, дивизия вела боевые действия в ходе в Курской операции.

В мае 1943 года Жолудев назначен на должность командира 35-го стрелкового корпуса, который вскоре принимал участие в боевых действиях в ходе Курской битвы и Брянской наступательной операции, а также в освобождении городов Трубчевск, Стародуб и Новозыбков, а вскоре — в Гомельско-Речицкой, Рогачевско-Жлобинской и Уманско-Ботошанской наступательных операциях.

Летом 1944 года во время операции «Багратион» корпус под командованием Жолудева принимал участие в ходе Бобруйской операции, во время которой входил в состав северной ударной группировки 1-го Белорусского фронта. В первый день боев корпус прорвал оборону противника, а затем форсировал реки Ольса и Березина, освободил города Кличев, Березино и Свислочь и за 5 дней боевых действий прошел около 100 километров. Затем в ходе Минской наступательной операции корпус после форсирования реки Друть и прорыва обороны противника вышел на участок шоссе Могилев — Бобруйск, а затем принимал участие в ходе освобождения городов Червень и Минск.

21 июля 1944 года генерал-майор Жолудев во главе группы офицеров корпуса выехал на передовую в район Волковыска и в бою погиб. Похоронен в Волковыске (Гродненская область).

Указом Президиума Верховного Совета СССР от 11 ноября 1944 года за образцовое выполнение боевых заданий командования на фронте борьбы с немецкими захватчиками и проявленные при этом отвагу и геройство генерал-майору Виктору Григорьевичу Жолудеву было посмертно присвоено звание Героя Советского Союза.

В память о Герое установлены:

Мемориальная плита В.Г. Жолудева на Мамаевом кургане в Волгограде. Рядом со зданием Волковыскской школы № 1 бюст, а на улицах его имени в Волковыске и Волгограде — мемориальные доски.

Его именем названы улицы в Киеве, Волгограде, Угличе (Ярославская область), Волковыске и Марксе (Саратовская область).

В Угличе имя В.Г. Жолудева увековечено на площади Героев у памятника-часовни «Защитникам Отечества во все времена».