Родился в Москве 11 апреля 1779 года. Отец его был статс-секретарем Екатерины II, мать — из старого рода Хомутовых. 5-ти лет мальчик был записан сержантом в лейб-гвардейский Измайловский полк и в 1795 году произведен в прапорщики. Служил в канцелярии московского главнокомандующего; в 1812 году работал в комитете для образования московского ополчения, затем вступил на службу в департамент государственных имуществ.
В 1818 году у него отнялись ноги, и стало ухудшаться зрение; в 1821 году он окончательно ослеп. По свидетельству его друга, Жуковского, он «переносил бедственную свою участь с терпением удивительным — и Божий Промысл, пославший ему тяжкое испытание, даровал ему в то же время и великую отраду: поразив его болезнью, разлучившей его навсегда с внешним миром и со всеми его радостями, столь нам изменяющими, открыл он помраченному взору его весь внутренний, разнообразный и неизменчивый мир поэзии, озаренный верой, очищенный страданием».
Зная французский и итальянский языки с детства, Козлов изучил теперь английский, немецкий и польский языки. Он обладал феноменальной памятью, еще сильнее развившейся во время болезни: «он знал наизусть, — говорит Жуковский, — всего Байрона, все поэмы Вальтера Скотта, лучшие места из Шекспира так же, как прежде — всего Расина, Тасса и главные места из Данта»: он знал наизусть и все Евангелие.
Жизнь его была разделена «между религией и поэзией». «Все, что делалось в свете, возбуждало его участие — и он нередко заботился о внешнем мире с каким-то ребяческим любопытством». Утешением для Козлова служило и то внимание, с которым к нему относились корифеи тогдашней поэзии, начиная с Пушкина.
Он выступил в печати в 1821 году стихотворением «К Светлане»; затем последовал целый ряд крупных и мелких произведений, которые он обыкновенно диктовал своей дочери. В 1824 году появился его «Чернец», в 1826 году — «Невеста Абидосская» Байрона, в 1828 году — «Княгиня Наталия Борисовна Долгорукая» и книжка «Стихотворений», в 1829 году — «Крымские сонеты» Мицкевича и подражание Бернсу: «Сельский субботний вечер в Шотландии», в 1830 году — «Безумная».
Козлов скончался 30 января 1840 года. Могила его — на Тихвинском кладбище Александро-Невской лавры, рядом с могилой Жуковского. Ни к кому Козлов не стоит так близко в литературе, как к Жуковскому, но рабским подражателем он не был: что у Жуковского является основой поэзии, то у Козлова — только тон ее; Жуковский преимущественно предан Шиллеру и Гете, душа Козлова лежит к английской поэзии. Как переводчик, Козлов занял видное место в нашей литературе.
Многие критики усматривают в нем первое проявление русского байронизма. Но едва ли его «Чернец», над страницами которого современники и особенно современницы обливались слезами, которому даже Пушкин внимал «в слезах восторга», может быть назван отражением байроновской поэзии. Здесь нет мрачного и грозного титанизма байроновских героев: герой Козлова все «плакал да молился», и преступление его, которое он искупает искренним раскаянием, не могло бы вызвать кары со стороны гуманного суда. В остальных поэмах Козлов скорее отразился сентиментализм, которым общество еще не переболело. Правда, Козлов много переводил из Байрона; но самый характер переведенных отрывков свидетельствует о том, что основа поэзии Байрона была чужда Козлову, и переводы, притом, очень далеки от подлинника. Сердце Козлова лежало к английским идилликам, в роде Вордсворта, к меланхолическим элегикам, в роде Мура или Мильгуа. В таком духе он выбирал стихотворения и других поэтов: Ламартина, Шенье, Манцони, Петрарки и т. д. Среди этих переводов есть несколько образцовых, которые всем известны по хрестоматиям, например «Вечерний звон» Мура, «Нас семеро» Вордсворта, «Молодая узница» Шенье, «Плач Ярославны» из «Слова о полку Игореве». Несмотря на слепоту, Козлов тонко чувствовал природу, особенно те моменты, когда ее жизнь лишается напряженности. Такое настроение передает лучшее стихотворение Козлова — «Венецианская ночь». Что он вообще понимал красоты природы, видно и из прекрасного перевода крымских сонетов Мицкевича. Сочинения Козлова издавались в 1833,1840, 1855 годах; наиболее полное собрание сочинений Козлова издано, под редакцией А. И. Введенского, в 1892 году.