Родился в Николаеве в семье нотариуса, вскоре переехавшей в Одессу. Воспитывался с 1835 в пансионе В. А. Золотова, затем в гимназии при Ришельевском лицее (с 1841), позже на юридическом факультете Ришельевского лицея; оставив обучение в лицее в 1850, поступил на историко-филологический факультет Харьковского университета, где и окончил курс. Будучи евреем, в юности принял христианство.
Дебютировал в печати еще студентом, опубликовав перевод драмы Жорж Санд “Клоди” (“Пантеон”, 1851, № 11) и перевод стихотворения Виктора Гюго “Молитва обо всех” (“Харьковские губернские ведомости”, 1852, 9 августа). По окончании университета переехал в Тамбов, служил чиновником особых поручений при губернаторе, редактировал неофициальную часть “Тамбовских губернских новостей” (позднее пользовался юмористическим псевдонимом Гейне из Тамбова). В 1858 переселился в Санкт-Петербург. Сблизился с литературными кругами, в 1858-1859 вел раздел “Литературная летопись” в “Библиотеке для чтения”, как помощник А. В. Дружинина участвовал в редактировании журнала, сотрудничал в других изданиях. В 1860 вместе с А. В. Дружининым, К. Д. Кавелиным и В. П. Безобразовым начал издавать еженедельный журнал “Век” и, одновременно, сотрудничал с изданием “Русская сцена”. Его бестактный фельетон о Е. Э. Толмачевой, которая прочитала на литературном вечере в Перми “Египетские ночи” А. С. Пушкина, тем самым как будто нарушив все правила приличия и благопристойности, вызвал негодование демократической и либеральной печати. После скандала, связанног с фельетоном “Русские диковинки” в журнале “Век”, был вынужден оставить журнал (1862) и поступил на службу в Главное интендантское управление. В 1866-1867 заведовал литературным отделом журнала “Будильник”.
В 1868 году Вейнберг переехал в Варшаву, где получил место профессора русской литературы в Главной школе, в 1869 переименованной в Варшавский университет. В Варшаве с 1870 редактировал официозную газету “Варшавский дневник”, издал “Русские народные песни об Иване Васильевиче Грозном” (1872). Уволенный с поста редактора в 1874, вернулся в Санкт-Петербург. До 1890 состоял на службе при собственной Его Императорского Величества канцелярии по учреждениям императрицы Марии. Вел постоянные разделы “Новости иностранной литературы” и “За границей” в “Санкт-Петербургских ведомостях”, сотрудничал в “Отечественных записках” и других изданиях.
Был членом Театрально-литературного комитета, в 1893 редактировал “Театральную газету”. Одновременно в течение многих лет он преподавал русскую и иностранную литературу на Высших женских педагогических курсах и драматических курсах Театрального училища, пять лет был инспектором Коломенской женский гимназии, позднее директором гимназии и реального училища имени Я. Г. Гуревича. Издал ряд сборников, имеющих значение учебных пособий (“Европейский театр”, “Русские писатели в классе”, “Русская история в поэзии”, “Европейские классики” и др.). В 1883-1885 редактировал и издавал ежемесячный журнал “Изящная литература”, посвященный переводам лучших произведений иностранных писателей, старых и новых. В 1887-1894 состоял приват-доцентом Санкт-Петербургского университета по кафедре всеобщей истории литературы, читал публичные лекции на литературные темы в Санкт-Петербурге и окрестностях.
В 1897-1901 председатель Союза взаимопомощи русских писателей. В конце жизни председатель Литературного фонда. В 1905 избран почетным академиком.
После публикации первых переводов в 1854 издал в Одессе книжку своих оригинальных и переводных стихотворений. Помещал свои стихотворения, оригинальные и переводные, а также статьи библиографические и другие в “Библиотеке для чтения”, “Иллюстрации”, “Искре”, “Современнике”, “Будильнике” и других журналах.
В 1860 г., вместе с А. В. Дружининым, К. Д. Кавелиным и В. П. Безобразовым, предпринял издание еженедельного журнала “Век”, продолжавшееся, однако, всего один год и переданное затем другой редакции. Затем Вейнберг снова стал печатать в петербургских журналах свои оригинальные стихотворения и иностранные переводы из Г. Гейне, Г. Гервега, Фаллерслебена, Шамиссо, Ленау, К. Гуцкова и других поэтов, и, в дополнение к переведенным прежде пьесам Шекспира, “Отелло” и “Генрих VIII”, перевел “Тимон Афинский”, “Венецианский купец”, “Как вам будет угодно”, “Конец – всему делу венец”, “Виндзорские проказницы”, “Комедия ошибок” и “Бесплодные усилия любви”; кроме того – трагедию Гуцкова “Уриэль Акоста”, Лессинга “Натан Мудрый”, поэмы Гейне “Бимини”, Лонгфелло – “Евангелина”, Ленау – “Жижка”, комедию Шеридана “Школа злословия”, трагедию Шелли “Ченчи”, и много других крупных и мелких произведений европейской поэзии (Данте, К. Ф. Д. Шубарт, Л. Уланд, Ф. Шпильгаген, Г. Зудерман, Р. Бернс, Э. Б. Браунинг, А. Мюссе, В. Сарду, О. Барбье, Г. Лонгфелло, Брет Гарт, Андерсен, Г. Ибсен, А. Мицкевич; всего свыше шестидесяти авторов. Эти переводы доставили ему почетное место среди лучших русских переводчиков. Отличаясь звучным и красивым стихом, переводы Вейнберга в то же время замечательны и своей близостью к подлинникам.
Не ограничиваясь этой переводческой деятельностью, печатал в газетах и журналах статьи о разных произведениях русской и иностранной литературы, отдельные монографии (например, этюды о В. Гюго и Фрейлиграте), статьи о театре, о явлениях общественной жизни и т. п.
Многие стихотворения и переводы Вейнберга были положены на музыку Ц. А. Кюи, А. Т. Гречаниновым, М. М. Ипполитовым-Ивановым и другими композиторами. Стихотворение “Он был титулярный советник…” (1859; первая публикация в цикле “Отпрыски сердца” за подписью Гейне из Тамбова, “Искра”, 1859, № 2) стало широко известным благодаря романсу А. С. Даргомыжского.
В конце 1860-х и 1870-х гг. издал в русских переводах (своих и чужих) сочинения Гете (в 6 томах) и Гейне (в 12 томах), а затем – избранные сочинение Берне, в своем переводе (2 тома).