Родился в Рязани в небогатой дворянской семье. В 1838 окончил Рязанскую гимназию. Началом своей литературной деятельности Яков Полонский считал 1837, когда представил одно из своих стихотворений цесаревичу, будущему царю Александру II, путешествовавшему по России в сопровождении своего воспитателя В. А. Жуковского.
В 1838 Яков Полонский поступил на юридический факультет Московского университета (окончил в 1844). В студенческие годы сблизился с А. Григорьевым и А. Фетом, которые высоко оценили талант молодого поэта. Познакомился также с П. Чаадаевым, А. Хомяковым, Т. Грановским. В журнале “Отечественные записки” в 1840 было впервые опубликовано стихотворение Полонского “Священный благовест торжественно звучит…” Печатался в журнале “Москвитянин” и в студенческом альманахе “Подземные ключи”.
В 1844 вышел первый поэтический сборник Полонского “Гаммы”, в котором заметно влияние М. Лермонтова. В сборнике уже встречались стихи, написанные в жанре бытового романса ( “Встреча” , “Зимний путь” и др.). В этом жанре был впоследствии написан и шедевр лирики Якова Полонского “Песня цыганки” (“Мой костер в тумане светит…”, 1853). Литературовед Б. Эйхенбаум впоследствии называл главной чертой романсов Полонского “сочетание лирики с повествованием”. Для них характерно большое количество портретных, бытовых и других подробностей, отражающих психологическое состояние лирического героя ( “Пришли и стали тени ночи…” и др.).
По окончании университета Яков Полонский переехал в Одессу, где выпустил второй поэтический сборник “Стихотворения 1845 года” (1845). Книга вызвала отрицательную оценку В. Г. Белинского, который увидел в авторе “ни с чем не связанный, чисто внешний талант”. В Одессе Полонский стал заметной фигурой в кругу литераторов, продолжавших пушкинскую поэтическую традицию. Впечатления одесской жизни впоследствии легли в основу романа “Дешевый город” (1879).
В 1846 Яков Полонский получил назначение в Тифлис, в канцелярию наместника М. Воронцова. Одновременно стал помощником редактора газеты “Закавказский вестник”, в которой печатал очерки. В Тифлисе в 1849 вышел поэтический сборник Полонского “Сазандар” (“Певец”). В него вошли баллады и поэмы, а также стихи в духе “натуральной школы” – т. е. изобилующие бытовыми сценами (“Прогулка по Тифлису”) или написанные в духе национального фольклора (“Грузинская песня”).
В 1851 Полонский переехал в Петербург. В дневнике 1856 г. записал: “Не знаю, отчего я чувствую невольно отвращение от всякого политического стихотворения; мне кажется, что в самом искреннем политическом стихотворении столько же лжи и неправды, сколько в самой политике”. Вскоре Яков Полонский определенно заявил о своем творческом кредо: “Мне не дал Бог бича сатиры… / И для немногих я поэт” (“Для немногих”, 1860). Современники видели в нем “скромного, но честного деятеля пушкинского направления” (А. Дружинин) и отмечали, что “он никогда не рисуется и не играет никакой роли, а всегда является таким, каков он есть” (Е. Штакеншнейдер).
В Петербурге Яков Полонский издал два поэтических сборника (1856 и 1859), а также первый сборник прозы “Рассказы” (1859), в которых Н. Добролюбов заметил “чуткую восприимчивость поэта к жизни природы и внутреннее слияние явлений действительности с образами его фантазии и с порывами его сердца”. Д. Писарев, напротив, считал подобные черты проявлениями “узенького психического мира” и относил Якова Полонского к числу “микроскопических поэтиков”.
В 1857 Яков Полонский уехал в Италию, где изучал живопись. В Петербург вернулся в 1860. Пережил личную трагедию – смерть сына и жены, отразившуюся в стихах “Чайка” (1860), “Безумие горя” (1860) и др. В 1860-е годы написал романы “Признания Сергея Чалыгина” (1867) и “Женитьба Атуева” (1869), в которых заметно влияние И. Тургенева. Полонский печатался в журналах разного направления, объясняя это в одном из своих писем А. Чехову: “Я всю жизнь был ничей”.
В 1858-1860 Яков Полонский редактировал журнал “Русское слово”, в 1860-1896 служил в Комитете иностранной цензуры. Вообще же 1860-1870-е годы были отмечены для поэта читательским невниманием и житейской неустроенностью. Интерес к поэзии Полонского вновь возник в 1880-е годы, когда вместе с А. Фетом и А. Майковым он входил в “поэтический триумвират”, пользовавшийся уважением читающей публики. Яков Полонский вновь стал знаковой фигурой в литературной жизни Петербурга, на “пятницах Полонского” собирались выдающиеся современники. Поэт дружил с Чеховым, внимательно следил за творчеством К. Фофанова и С. Надсона. В стихах “Сумасшедший” (1859), “Двойник” (1862) и др. предсказал некоторые мотивы поэзии 20 в.
В 1890 Полонский писал А. Фету: “По моим стихам можно проследить всю жизнь мою”. В соответствии с этим принципом отражения внутренней биографии он построил свое итоговое “Полное собрание сочинений” в 5 тт., вышедшее в 1896.
Умер Яков Полонский в Петербурге 18 (30) октября 1898.