Родился 3 марта 1969 года в поселке Камень-Рыболов Ханкайского района Приморского края в семье офицера-пограничника.
После окончания средней школы поступил в Дальневосточное высшее общевойсковое командное училище, успешно его окончил в 1990 г. Командовал мотострелковыми взводом и ротой в частях Среднеазиатского и Дальневосточного военных округов, служил в Приморском краевом военкомате.
В 1999 году уволился из армии в звании капитана. В том же году поступил на службу в органы Министерства внутренних дел Российской Федерации. Был оперуполномоченным 9-го отдела Восточно-Сибирского регионального управления по борьбе с организованной преступностью при ГУБОП МВД РФ в городе Иркутске. В феврале 2000 годе Алексею Рыбаку присвоено звание «майор милиции», а в марте того же года выехал в составе сводного отряда РУБОП в командировку в Чечню.
Принимал участие в ликвидации крупной банды (свыше 1000 человек) Р.Гелаева в селе Комсомольское. Отличался в боях мужеством и умением применять военный опыт. В один из дней штурма группа собровцев майора Рыбака осталась без поддержки выделенного им танка, на открытом месте, под шквальным огнём боевиков. Промедление грозило полным уничтожением, отход до своих позиций также был невозможен. И тогда Рыбак поднял группу в атаку на укрепленный пункт боевиков, ошеломив их. Собровцы нанесли потери противнику, организовали взаимодействие с основными силами и без потерь прорвались к своим. Несмотря на сильный вывих ноги, остался в строю до конца боя.
В другом бою заменил неопытного командира танка и несколько часов поддерживал наступающие штурмовые группы огнём, лично уничтожив несколько огневых укрепленных точек боевиков. Всего в период штурма Комсомольского группа Алексея Рыбака уничтожила 2 опорных базы, 23 укрепленные огневые точки и 93 боевиков.
В ночь на 17 марта 2000 года командовал одним из заслонов, выставленных на путях вероятного прорыва боевиков. Против нескольких бойцов, занявших выгодную позицию в укрепленном доме, на прорыв пошло свыше сотни боевиков. Майор Рыбак принял бой, расстреливая возникающих из темноты боевиков огнём в упор. Боевики вели шквальный огонь из десятков автоматов, нескольких гранатометов, даже из реактивного огнемёта «Шмель». Однако группа Рыбака не только держалась, она ответным огнём не давала врагу продвигаться дальше. Непрерывный бой шёл до рассвета, когда потерявшие несколько десятков человек убитыми боевики отступили обратно в село. Майор милиции Алексей Рыбак погиб в ходе преследования отступающего противника. В том жестоком бою погибли ещё двое собровцев, третий скончался от ран в больнице.
За мужество и героизм, проявленные в ходе контртеррористической операции в Северо-Кавказском регионе, Указом Президента Российской Федерации № 871 от 25 июля 2005 года майору милиции Рыбаку Алексею Леонидовичу присвоено звание Героя Российской Федерации (посмертно).
Награждён орденом Мужества.
Похоронен во Владивостоке. На здании владивостокской школы № 25, где учился герой, установлена мемориальная доска, а в самой школе — бюст Героя.