Отец будущего поэта В. Ф. Жигулин был выходцем из крестьян, работал почтовым служащим. Длительное время он страдал открытой формой чахотки и основные заботы о трех детях лежали на плечах матери Е. М. Раевской, правнучке поэта-декабриста Владимира Раевского. Происходившая из дворянской семьи мать Анатолия Жигулина была женщиной образованной и любившей поэзию. Она часто читала детям стихи, пела им песни.
В доме деда в Воронеже, где семья жила с 1937 года, уцелела библиотека семьи Раевских, в том числе и фамильные альбомы нескольких поколений. Воронеж и область в течение 8-ми месяцев были во фронтовой зоне и не участвовавший в войне по малолетству Анатолий полной чашей испил голод и лишения войны и жизнь в полуразрушенном городе в послевоенное время. Позднее тема родного города, детства и войны отчетливо зазвучит в творчестве Жигулина.
В старших классах Анатолий начинает писать стихи, пока, в основном, это изложенные в стихах школьные сочинения. Но постепенно его строки набирают силу, и весной 1949 в воронежской газете появляется первая публикация. Толе Жигулину 19 лет, и он собирается поступить в лесотехнический институт отлично учившийся юноша любил и технику, и природу.
В 1947 году в Воронеже, школьниками, была создана подпольная антисталинская организация Коммунистическая Партия Молодежи, куда в качестве члена бюро вступил в 1948 и Толя. Хорошо законспирированная организация насчитывала около 60 человек, однако в сентябре 1949, когда члены КПМ из школьников превратились в студентов, начались аресты. В июне 1950-го решением Особого совещания Жигулин был осужден к 10-ти годам лагерей строгого режима. Пребывание в тюрьме во время предварительного следствия, жизнь в тайшетском лагере и на Колыме подробно описаны в широко известной повести Жигулина «Черные камни» (1988) и в его многочисленных стихах.
В 1954 Жигулин был освобожден по амнистии, а в 1956 полностью реабилитирован. В 1960 он закончил Воронежский лесотехнический институт. В 1959 вышла первая, тоненькая книжка стихов Жигулина «Огни моего города», затем сборник «Костер-человек» (1961), а в 1963 увидела свет первая московская книга стихов «Рельсы». В этом же году Жигулин поступил на Высшие литературные курсы и переселился в Москву став профессиональным литератором.
С этого времени Жигулин жил в Москве и вел жизнь профессионального литератора. В 1964 в Воронеже тиражом всего в 3 тысячи вышла книжка стихов Жигулина «Память» (1964), вызвавшая восторженный отклик со стороны прессы. Борис Слуцкий в журнале «Юность» писал, что «В Воронеже вышла книга замечательных стихов. Ее написал Анатолий Жигулин». Важной вехой в жизни поэта стало его знакомство в 1961 с Твардовским. Следует отметить большое влияние на поэзию Жигулина наряду с творчеством Кольцова, Клюева и Есенина творчества Твардовского.
С середины 1960-х годов в русле традиции «крестьянской» поэзии (С. А. Есенина и др.) появляются лирико-философские стихи Жигулина, вдохновленные среднерусской природой, ясные и сдержанные, проникнутые светлой печалью осознания быстротечности и хрупкости бытия. «Левитановская» словесная живопись («осока стылая в воде», «упрямо выживший побег», «поле седое») сочетается в поэзии Жигулина с есенински-клюевской темой ностальгической влюбленности в патриархальную деревню — истинную родину русского человека, но в то же время не отрицает органичности и примет нового времени, «звенящих косилок» и «стучащих тракторов».
Заметным событием в «лагерной» литературе первых лет перестройки стала автобиографическая повесть Жигулина «Черные камни» (1988), предложившая подробный и спокойно-искренний, без налета сентиментальности или истерического надрыва, рассказ об истории «вины» юного Жигулина перед социалистическим государством, наказании за нее и долгом пути обретения истины, а также написанный в разные годы цикл стихов о пребывании на знаменитой «лагерной» реке Колыме «Сгоревшая тетрадь», включенный в сборник «Летящие дни» (1989). Жигулин занимался также стихотворными переводами, писал эссе.
Умер Анатолий Жигулин в Москве 6 августа 2000 года.