Родился в семье рабочего-железнодорожника.
Учился в Иргейской и Нижнеудинской школах, окончил 10 классов.
В 1933 призван в армию, окончил артиллерийское отделение Омской пехотной школы в 1937.
Участник Советско-финской войны.
Перед Великой Отечественной войной служил в артиллерийских частях Прибалтийского округа.
С первых дней Великой Отечественной войны — на фронте. Командир 1177-го истребительно-противотанкового артиллерийского полка майор Алексей Шалимов особо отличился при отражении атак неприятеля на белгородском направлении в ходе Курской битвы. Только за 6 и 7 июля 1943 вверенный майору Шалимову полк подбил восемьдесят девять танков, в том числе тридцать пять тяжёлых. 2 октября 1943 фашистам удалось потеснить советские войска на правом берегу Днепра в районе села Лепляво Каневского района Черкасской области УССР. 1177-й истребительно-противотанковый артиллерийский полк, ведя огонь прямой наводкой, отбил вражеские атаки и восстановил положение. В этом бою командир-артиллерист погиб. Вскоре пришёл приказ о присвоении майору Шалимову А. А. воинского звания «подполковник».
Похоронен в селе Леплява Каневского района Черкасской области Украины.
Указом Президиума Верховного Совета СССР от 24 декабря 1943 за умелое командование артиллерийским полком, образцовое выполнение боевых заданий командования и проявленные при этом мужество и героизм подполковнику Шалимову Алексею Алексеевичу посмертно присвоено звание Героя Советского Союза.
Награждён двумя орденами Ленина, орденом Красного Знамени.
Именем Героя названы Будаговская средняя школа, а в 2000 — восстановленная в ней пионерская организация, Дом пионеров в городе Тулун Иркутской области.