В 1860 г. поступил в Московский университет, но вскоре за распространение запрещенных сочинений был заключен на 3 месяца в смирительный дом и сослан.
После неудачной попытки поступить в Новороссийский университет, Гольц-Миллер проживал в Минске, Курске и Орле.
Начав писать с 1859 г., Гольц-Миллер выдвинулся как хороший переводчик Байрона, Барбье, Ленау и др. Писал и оригинальные стихотворения, лучшие из которых: “Блажен, кто смолоду”, “Слушай” (положено на музыку), “Дай руку мне” , “На жизнь и смерть”, “Мой дом” (“Вестник Европы”, 1871, № 11).