Учился в Умыганской и Трактокурзанской школах.
После окончания семилетки начал трудовую жизнь. Летом работал рядовым колхозником и учетчиком тракторной бригады в колхозе «Верный путь», зимой на лесоразработках в селе Иргей Нижнеудинского района.
В октябре 1940 года призван в армию. Службу проходил поваром в 148-м строительном батальоне Тихоокеанского флота.
Весной 1941 года стройбат перебрасывается на Северный флот, он оканчивает школу младших командиров и становится морским пехотинцем-разведчиком.
С января 1942 служит в 3-м батальоне 125-го полка, участвует во многих десантных вылазках в Заполярье.
5 ноября 1944 старший сержант И.П. Каторжный удостоен звания Героя Советского Союза.
После войны закончил курсы подготовки офицеров-политработников (1950) и служил в армии до 1961 года.
Демобилизовавшись в звании майора, поселился в Калинине (ныне Тверь).
Награждён также орденом Красного Знамени, Красной Звезды и многими медалями.
В 2005 Умыганской школе присвоено имя героя. В мае 2007 состоялось торжественное открытие мемориальной доски.