Анатолий Павлович Рябов родился 15 апреля 1894 года в с. Лобаски ныне Ичалковского района Республики Мордовия, по другим данным в с. Н. Слобода ныне Большеболдинского района Нижегородской области в эрзянской семье.
А.П. Рябов окончил Починковское духовное училище, Нежинский педагогический институт (1916), аспирантуру НИИ народов Советского Востока (1929). Преподавал русский язык и литературу в учительской семинарии, педагогическом техникуме г. Омска. В 1922 - 1924 годах А.П. Рябов работал в Нижегородском губернском отделе народного образования, а в 1924 - 1930 годах он становится методистом Мордовского бюро (подотдела) Совета национальных меньшинств Народного комиссариата просвещения РСФСР, сотрудником Всесоюзного центрального комитета нового алфавита при Совете национальностей ЦИК СССР. Работая здесь, он разработал и представил в президиум научного совета ВЦИКа проект нового эрзянского алфавита на латинской основе (1932).
В 1933 году А.П. Рябов становится заведующим языково-литературно-художественным сектором Научно-исследовательского института мордовской культуры. В материалах личного дела А.С. Рябова, хранящегося в ЦГА РМ, указывается «… постановлением Высшей Аттестационной Комиссии НКП от 11 апреля 1934 г. А.П. Рябов утвержден в звании профессора по кафедре мордовского языка Мордовского Педагогического Института». С 4 июля 1934 года он назначается заведующим кафедрой мордовских языков Мордовского педагогического института, где разработал и читал курс современного эрзянского литературного языка.
Анатолий Павлович Рябов активно участвовал в подготовке и проведении I и II съездов мордовских учителей в 1924 и 1925 годах. С докладами и сообщениями по проблемам орфографии, морфологии и терминологии эрзянского языка выступал на I - III научных языковых конференциях в Саранске (1933 - 1935). Подготовил два проекта эрзянской орфографии.
А.П. Рябов важное значение придавал решению практических вопросов преподавания в мордовской национальной школе, обеспечения её методической литературой. По его инициативе проводились курсы по подготовке и повышению квалификации учителей, выпускалась национальная литература.
А.П. Рябов является автором и соавтором азбук «Валдо чи» - «Светлый день» (1925), «Лисьма пря: Букварде мейле ловнома книга» - «Родник: книга для чтения после букваря» (1926), учебного пособия «Уроки эрзянского языка», школьных учебников - «Эрзянь келень грамматика (Морфология)» — «Грамматика эрзянского языка (Морфология)» (1933), «Эрзянь келень грамматика (Синтаксис)» (1934), двуязычных словарей - «Эрзянь-рузонь валкске» - «Эрзянско-русский словарь» (1930), «Рузонь-эрзянь валкске» - «Русско-эрзянский словарь» (1931).
В июне 1937 года был арестован по обвинению в антисоветской деятельности, расстрелян в 1938 году. Реабилитирован в 1956 году.
В память о лингвисте, педагоге, общественном деятеле А.П. Рябове 16 апреля отмечается Всероссийский день мордовских языков.