Иван Иванович Клименко родился 24 февраля 1914 года в селе Новоандреевка (ныне Ореховского района Запорожской области Украины). Украинец.

С 1921 года жил в городе Новочеркасске Ростовской области. С 1933 по 1938 годы учился в Новочеркасском инженерно-мелиоративном институте. В 1939-1941 годах обучался в Новочеркасском индустриальном институте имени С. Орджоникидзе по специальности «Водоснабжение и канализация». 17 февраля 1941 года решением Государственной экзаменационной комиссии ему присвоена квалификация инженера-строителя.

В Красной Армии с 1941 года. В марте 1942 года Клименко было присвоено звание лейтенанта. На фронтах Великой Отечественной войны с октября 1942 года. В этом же году в боях по расширению плацдарма на реке Дон проявил себя как смелый, мужественный и умелый командир.

В середине ноября 1942 года 69-я танковая бригада 21-й армии, в которой служил лейтенант Клименко, сосредоточилась в районе станицы Клетской для прорыва вражеской обороны. Утром 19 ноября началось историческое контрнаступление советских войск в междуречье Дона и Волги. За 4 дня боев — с 19 по 22 ноября — танкисты роты Клименко уничтожили и захватили 22 вражеских танка, 12 орудий, 5 пулеметов, 318 повозок с грузами, 270 автомашин, 2 склада с продовольствием и боеприпасами, пленили около 800 гитлеровцев.

Отважный командир танковой роты погиб 23 ноября 1942 года возле хутора Платонов. Во время боя танк Клименко был подбит, но отважный экипаж продолжал сражаться. Один за другим погибли все члены экипажа. Иван Клименко остался один, отбивался до последнего патрона и застрелился, чтобы не попасть живым в руки фашистов.

И.И. Клименко был похоронен на хуторе Мариновка Калачевского района Волгоградской области. Позже перезахоронен в городе Калач-на-Дону на площади Павших борцов.

Указом Президиума Верховного Совета СССР от 4 февраля 1943 года за образцовое выполнение боевых заданий командования на фронте борьбы с немецкими захватчиками и проявленные при этом отвагу и геройство Ивану Ивановичу Клименко было присвоено звание Героя Советского Союза (посмертно). Награжден орденом Ленина и медалью «За отвагу».

В память о Клименко И.И. установлена Мемориальная плита на Мамаевом кургане в Волгограде (фото). Его именем названы улицы в родном селе и городе Новочеркасске, а также школа в Мариновке.

Постановлением исполкома Волгоградского городского Совета от 29 марта 1965 года улица Охотская в Тракторозаводском районе переименована в улицу Клименко. В Новочеркасске на главном корпусе НГМА находится мемориальная доска с надписью: «Здесь с 1933 по 1938 гг. учился Герой Советского Союза Иван Иванович Клименко. 1914 — 1942 гг. Погиб в 1942 г. под Сталинградом».