Якубович принадлежал к дворянскому сословию. В 1882 году он окончил историко-филологический факультет Петербургского университета. С 1878 года сотрудничал в журналах “Дело”, “Слово”, “Отечественные записки”. В 1882 году вступил в петербургскую организацию “Народной воли”, с 1883 года был одним из лидеров народовольческого движения.
Арестован в Петербурге 15 ноября 1884, по процессу 21-го приговорен к смертной казни, замененной 18 годами каторги. Отбывал на Карийской каторге и в Акатуе. С 1895 на поселении в Кургане.
Как поэт начал печататься в 1878 году. Сборник “Стихотворения Матвея Рамшева” вышел в 1887 году. Некоторые свои стихи, чтобы пробить их сквозь цензуру, он публиковал под именами никогда не существовавшего ирландского поэта О’Коннора или итальянца Чезаре Никколини. Якубович напечатал также в переводе с немецкого так называемые “затерянные стихотворения” Лермонтова, якобы переведенные с подлинных русских рукописей немецким поэтом Фридрихом Боденштедтом, известным как мистификатор. Вот строки оттуда:
“О судьбе не жалейте моей, Ни о том, что от дружбы своей Оттолкнули меня лицемеры. Не жалейте! В тюрьме вы, как я! Все различие в том лишь, друзья, Что у вашей побольше размеры…”
В 1899 году Якубович вернулся с каторги. Он работал редактором отдела поэзии, с 1904 года (совместно с В. Г. Короленко) – отдела беллетристики журнала “Русское богатство”. Якубович известен своими переводами поэзии Шарля Бодлера. Самая известная его книга “В мире отверженных” – классика тюремного жанра в русской литературе.
В 1905 году откликнулся на Кровавое воскресенье стихотворением “Красный снег” , ставшим широко известным в советское время, когда оно было включено в школьную программу.
Сын П. Ф. Якубовича – литературовед-пушкинист Дмитрий Петрович Якубович (1897-1940).
Племянник – Якубович Михаил Петрович, меньшевик, десятилетия находился в СССР в заключении.