В середине октября 1941 года в районе Константиновки развернулись оборонительные бои против немецких захватчиков. На подступах к городу сражались бойцы 393-й стрелковой дивизии. 28 октября 1941 года немецкие части вошли в город.

16 января 1942 года было восстановлено школьное обучение в оккупированном городе. В Константиновке и районе открылись 27 начальных школ и 12 неполных средних. Обучение шло исключительно на украинском языке.
Уже через месяц после захвата города отдельные предприятия начали выполнять заказы Вермахта, это была главная экономическая цель оккупационных властей, впоследствии часть предприятий начала выпускать продукцию и для местного населения.

Некоторые константиновцы саботировали усилия немцев по наладке производства на предприятиях города. В апреле 1942 года на кожевенном заводе было спущено в канализацию 60 тонн дубителя, а на химическом — 50 тонн кислоты.

1 декабря 1942 года военная немецкая комендатура ликвидировала Директорат, а предприятия подчинила непосредственно себе. Также в этот день в Константиновке начала работать Центральная торговая база, задачей которой было поставлять промышленные товары для населения.

В городе выходили две газеты — «Костянтинівські вісті» и «Відбудова». Их издавала немецкая городская комендатура, которая разместилась в здании «Дворец культуры химиков», а печатала журналы типография комендатуры на Базарной площади. Редактировал обе газеты А. Цымбал. 13 октября 1942 года вышел первый номер новой газеты «Відбудова». С декабря 1941 по 10 октября 1942 года вышло 70 номеров издания «Костянтинівські вісті».

В ночь на 6 сентября 1943 года 135-я Краснознаменная ордена Кутузова II степени танковая бригада 23-го танкового корпуса под командованием Безнощенко Михаила Захаровича выбила немцев из города, за что ей присвоено почетное наименование «Константиновская».

Комбриг 135-й тбр М. Безнощенко так оценивал потери противника в боях за Константиновку: уничтожено до 2,5 тыс. солдат и офицеров, 400 человек взято в плен, уничтожено 29 танков, свыше 200 орудий и минометов, причем 109 орудий захвачено исправными. При освобождении города погибло 187 военнослужащих РККА, которые с почестями погребены в братских могилах и на гражданских кладбищах Константиновки.

За 22 месяца оккупации немцы уничтожили 15382 человек — в располагавшемся на территории Химического завода концлагере замучили более 10000 мирных граждан и военнопленных. За отказ с ними сотрудничать расстреляли 305 кадровых рабочих, 1000 мирных жителей (в большинстве евреев) казнили в Сергеевской балке на северо-западной окраине города, 1434 человека насильственно угнали на каторжные работы в Германию.

На фронтах Великой Отечественной войны сражались более 20000 константиновцев, свыше 10000 удостоены правительственных наград, 21 — звания Героя Советского Союза.

В городском военкомате хранится книга потерь в годы войны. В ней значатся 8124 солдата, сержанта, старшины, матроса и офицера.

При отступлении немецкие войска нанесли городу материальный ущерб на сумму 442000000 рублей: взорвали и сожгли почти все заводы, уничтожили 60 % государственного жилого фонда, 25 школ, 2 кинотеатра, городскую библиотеку, больницу, другие учреждения.