В 1920-х окончил школу для взрослых, работал в милиции, был секретарем сельсовета.
По направлению Бурят-Монгольского обкома партии отправился в Ленинградское кавалерийское училище. После него зачислен в Буркавдивизион — одну из первых национальных военных частей в СССР.
В 1929 Балдынов участвует в боях на Китайско-Восточной железной дороге. В том же 1929 Балдынов, окончил курсы политработников в Киеве, поступил на высшие курсы командного состава конницы в Новочеркасске.
В 1934 направлен на учёбу в Военную академию им. Фрунзе.
В 1937-1940 годах находится в тюрьме под следствием. Начальнику штаба Буркавбригады капитану Балдынову предъявили сразу три абсурдных обвинения — как члену панмонгольского контрреволюционного центра, японскому шпиону и агенту немецкой разведки. Освобожден в июле 1940.
В 1941 И.В. Балдынов командует полком 72-й Кубанской кавдивизии. Пройдя через страшные бои в Крыму, он возглавил штаб 40-й мотострелковой бригады.
В 1942 назначен заместителем комдива 55-й гвардейской Иркутской стрелковой дивизии. Был тяжело ранен.
В 1943 возглавлял 109-ю гвардейскую дивизию. Военный комендант г. Одессы.
После окончания войны на западе 109-я дивизия и ее командир громили японские войска, совершив беспримерный форсированный марш через безводные степи провинции Чахар, высокогорные хребты Большого Хингана.
В 1950–1955 работал старшим преподавателем академии им. Фрунзе в Москве.
Похоронен в Улан-Удэ.