Иван Иванович Жемчужников родился в 1918 году в городе Лебедянь, в семье крестьянина. Окончив в 1937 году Лебедянскую семилетнюю школу, поступил в Елецкий железнодорожный технику, затем работал старшим техником в тресте «Амурстройпуть». С 1938 во 1940 годах учился в военно-инженерном училище. Участвовал в войне с Финляндией, в освобождении Бессарабии, а 28 июня 1941 года в Полесье принял первый бой с немецко-фашистскими захватчиками. Освобождал Воронеж, Белгород, Харьков, Яссы, Будапешт, Вену.
Боевые заслуги Жемчужникова отмечены- орденами Ленина, Красного Знамени, Отечественной воины 1 степени, Александр Невского, Красной Звезды и многими медалями.
Майор Жемчужников отличился при форсировании реки Днепр в районе острова Глинск-Бородаевский.
Под сплошным артиллерийско-минометным огнем саперный батальон Жемчужникова навел через Днепр понтонный мост длиною 500 метров, по которому к утру следующего дня переправились наши войска, захватили и расширили плацдарм. Однако надетом немецких бомбардировщиков мост был уничтожен. Нужен был срочно новый мост для подброски подкреплений' десантникам. Благодаря самоотверженности саперов к следующей ночи переправа была восстановлена.
Указом Президиума Верховного Совета СССР от 26 октября 1943 года майору Жемчужникову Ивану Ивановичу присвоено звание Героя Советского Союза.
После войны генерал-майор Жемчужников И.И. продолжал служить в рядах Советской Армии.