Родился в семье рабочего. Русский.
Окончил начальную школу.
Работал помощником мастера на фабрике в городе Томске.
В Красной Армии с сентября 1942 года.
На фронтах Великой Отечественной войны с октября 1942 года. Принимал участие в освобождении Белоруссии, Польши, в боях на территории Восточной Пруссии, в штурме столицы фашистской Германии города Берлина. В боях с немецко-фашистскими захватчиками был несколько раз ранен.
Разведчик 287-го отдельного истребительно-противотанкового дивизиона (129-я стрелковая дивизия, 3-я армия, 2-й Белорусский фронт) младший сержант Косов 22 августа 1944 в районе города Остроленка (Польша) обнаружил два наблюдательных пункта, пять огневых точек, два дзота, которые затем огнем дивизионной артиллерии были разбиты. Заменив в бою раненого наводчика орудия, подавил три огневые точки и рассеял до взвода пехоты. Будучи раненым поля боя не покинул.
Приказом по 129-й стрелковой дивизии № 0172 от 3 сентября 1944 за мужество и отвагу, проявленные в боях, младший сержант А.В.Косов награждён орденом Славы 3-й степени.
Боец 287-го отдельного истребительно-противотанкового дивизиона Косов 10 и 12 февраля 1945 в районе города Вормдитт (ныне Орнета, Польша) при отражении контратаки пехоты противника истребил из личного оружия восемь солдат, троих взял в плен. Несмотря на ранение, остался в строю и вынес с поля боя тяжелораненого командира батареи. Расчет подбил танк и уничтожил более пятнадцати солдат и офицеров врага.
Приказом по 3-й армии от 17 апреля 1945 г. за мужество и отвагу, проявленные в боях, младший сержант Косов Анатолий Васильевич награждён орденом Славы 2-й степени.
25 марта 1945 первым из группы воинов ворвался в траншею противника на подступах к городу Хайлигенбайль (ныне город Мамоново Калининградской области) и огнем из личного оружия и гранатами сразил пятерых вражеских солдат, нескольких захватил в плен. Вынес с поля боя двоих раненых бойцов и офицера. Приказом по 3-й армии от 26 апреля 1945 г. за мужество и отвагу, проявленные в боях, младший сержант Косов вторично награждён орденом Славы 2-й степени.
Указом Президиума Верховного Совета СССР от 26 ноября 1958 г. старший сержант запаса Косов перенаграждён орденом Славы 1-й ст. (№ 3717), став полным кавалером ордена Славы.
В 1946 старший сержант А.В. Косов демобилизован.
Жил в г. Ангарск Иркутской области.
Работал слесарем на Ангарском нефтехимическом комбинате. Принимал активное участие в патриотическом воспитании молодежи.
Являлся почётным ветераном труда Открытого акционерного общества (ОАО) «Ангарская нефтехимическая компания».
Скончался 16 октября 2002.
Награжден орденом Отечественной войны 1-й ст., орденами Славы 1,2 и 3-й ст., медалью «За отвагу», «За победу над Германией» и другими медалями. В г. Ангарск на доме, где жил А.В. Косов, установлена мемориальная доска с портретом и надписью:
«В этом доме жил прославленный Герой Великой Отечественной войны, солдат, кавалер трех орденов Славы, ветеран труда АНХК Косов Анатолий Васильевич».