Родился в дворянской семье и приходился племянником известному писателю Антонию Погорельскому, двоюродным братом Алексею Толстому. Вырос в родовом имении Павловка под Ельцом, затем учился в Санкт-Петербурге в гимназии и в Училище правоведения. Жемчужников служил в Сенате и участвовал в сенатских ревизиях Орловской и Калужской губерний и таганрогского градоначальства; позже был помощником статс-секретаря Государственного совета. Его карьера развивалась довольно успешно, однако в 1858 он вышел в отставку, что было жестом отчасти демонстративным. Последующие пять лет Жемчужников жил в Калуге и отчасти в Москве, тесно общаясь со своим соучеником и мужем своей сестры, калужским губернатором Виктором Арцимовичем (видным политиком реформаторского крыла), а также с жившими в Калуге бывшими декабристами, прежде всего с Гавриилом Батеньковым.
В 1863-1884 Жемчужников живет за границей: в Германии, Швейцарии, Италии, Франции. Вернувшись в Россию, главным образом остается в Тамбове и Тамбовской губернии, в имении своего зятя Михаила Баратынского (родственника поэта Евгения Баратынского ).
Печатался Жемчужников с 1850 в журналах «Современник», «Отечественные записки», «Искра». На раннем этапе творчества Жемчужникова наиболее заметной его частью был созданный совместно с братом Владимиром и двоюродным братом Алексеем Толстым литературный псевдоним Козьмы Пруткова.
В 1859-1869 Жемчужников не печатался и почти не писал. Затем постепенно, особенно после возвращения в Россию в 1884, начал возвращаться в литературу. Первая книга стихотворений Жемчужникова была издана лишь в 1892, однако уже как том признанного мастера, с портретом автора и автобиографическим очерком. В 1900, к 50-летию его литературной деятельности, вышел в свет новый сборник Жемчужникова «Песни старости». В том же году он был избран почетным академиком Российской академии наук. Юбилейные торжества были отмечены сердечными приветствиями Льва Толстого, Владимира Соловьева и других крупнейших деятелей русской культуры.
Преобладающий элемент в поэзии Жемчужникова — искреннее, глубоко прочувствованное и метко выраженное негодование на общественную ложь; Жемчужников представлял крайне редкий в то время пример истинного патриота, болезненно чувствующего действительное зло своей родины и желающего ей настоящего добра. Ходячая ложь, подменивающая патриотизм грубым национальным самомнением и шовинизмом, беспощадно обличается в сатире Жемчужникова. В одной из них, описав оборванного пьяницу, молящегося на церковной паперти в первый день Великого поста, поэт вспоминает о другом «греховоднике»:
О, торжествующий меж нами Покрыт и срамом и грехами Наш современник не таков! Он, гордо лоб закинув медный, Пред алтарем отчизны бедной Священнодействовать готов.
В другом стихотворении ( «Памятник Пушкину» ) Жемчужников так обращается к лжепатриотам:
Вы все, в ком так любовь к отечеству сильна Любовь, которая все лучшее в нем губит — И хочется сказать, что в наши времена Тот честный человек, кто родину не любит.
В истинном патриотизме нежная любовь к родине неразлучна со жгучей ненавистью к ее действительным врагам.
О, этот вид, о, эти звуки! О, край родной, как ты мне мил! От долговременной разлуки Какие радости и муки В моей душе ты пробудил! Твоя природа так прелестна Она так скромно-хороша! Но нам, сынам твоим, известно Как на твоем просторе тесно И в узах мучится душа…
Обрисовав несколькими меткими чертами виновников этих мук, наших внутренних общественных врагов, поэт заключает:
И отвращения, и злобы Исполнен к ним я с давних лет Они — «повапленные» гробы… Лишь настоящее прошло бы А там — им будущего нет.
Несмотря на преобладание у Жемчужникова патриотической сатиры, в его поэзии много чистого лиризма. Из основных мотивов лирики особенно сильно у него чувство природы. В любви поэзия Жемчужникова отметила только момент первой встречи («Странно! мы почти что незнакомы») и скорбь последней разлуки; любовное чувство проявляется здесь в прозрачной чистоте, без малейшей эротической примеси, которой не чужды даже любовные мотивы у Тютчева. Вообще, лирические стихотворения Жемчужникова, хотя и немногочисленные, так же оригинальны, как и его сатира, и занимают свое неотъемлемое почетное место в русской поэзии.