Родился в семье обрусевших немцев. Воспитывался в Воронежском кадетском корпусе. По инициативе М. Ф. Де-Пуле был познакомлен с И. С. Никитиным и членами кружка Н. И. Второва. По окончании кадетского корпуса обосновался в Москве, посвятив себя литературной деятельности. В 1861 переехал в Санкт-Петербург. По подозрению к причастности к студенческим волнениям и “костомаровскому делу” был арестован и содержался в Петропавловской крепости. В декабре 1861 освобожден. После гибели переводчицы М. Н. Коптевой (участницы Знаменской коммуны), с которой Берг был близок, резко сменил образ жизни, разорвал отношения с демократическим окружением.
В 1864-1868 жил в Вологде. Занимался этнографией, фольклором, краеведением. В 1869 вернулся в Санкт-Петербург. Сотрудничал как публицист в журналах “Русский вестник” и “Заря”, был редактором ряда периодических изданий. Состоял в “Союзе русского народа”, был почетным членом Русской монархической партии и Русского монархического собрания. В конце жизни впал в нищету и страдал от психического расстройства. Умер в Алексеевской психиатрической лечебнице.
В печати дебютировал в 1859, опубликовав свое стихотворение и перевод стихотворения Генриха Гейне. При содействии А. Н. Плещеева печатал стихи, переводы, литературно-критические статьи, рецензии в журналах “Современник”, “Эпоха”, “Время”. В журнале “Современник” опубликовал роман “Закоулок” (1861, № 1 – 3) Переводил произведения Гейне, О. Барбье, П. Ж. Беранже, В. Гюго, А. Г. Эленшлегера. Совместно с В. Д. Костомаровым и на его средства издал “Сборник стихотворений иностранных авторов” (Москва, 1860), сборник “Поэты всех времен и народов” (Москва, 1861). Совместно с А. Н. Плещеевым выпустил сборник “Детская книжка” (Москва, 1861), в который вошли переводы Берга сказок Г. Х. Андерсена, стихотворений европейских поэтов. После возвращения из Вологды в Санкт-Петербург (1869) выступал с публицистикой в журналах “Русский вестник” М. Н. Каткова и “Заря” В. В. Кашпирева. С 1874 редактор газеты “Русский мир”, в 1878-1887 журнала “Нива”. После смерти М. Н. Каткова арендовал у его наследников “Русский вестник”. Перевел издание журнала в Санкт-Петербург. Был редактором газеты “Русский листок” (1898-1899), журнала “Родная речь” (1900-1905), газеты “День” (1903-1909).