Графу Алексею Толстому пророчили блестящее будущее, однако он отказался от титулов и должностей ради любви к замужней женщине. Избранницей молодого камер-юнкера, увлекающегося поэзией, стала Софья Миллер, супруга полковника, с которой граф познакомился на балу. Женщина ответила своему ухажеру взаимностью, и вскоре об этом романе уже судачил весь Санкт-Петербург.
Конечно, подобными взаимоотношениями в то время никого нельзя было удивить. И, возможно, о паре влюбленных очень скоро бы вес позабыли. Однако ситуация приняла совершенно непредсказуемый оборот после того, как Алексей Толстой попросил руки у своей возлюбленной. Против этого брака выступили не только родственники и друзья графа, но и законный супруг Софьи Миллер, который в течение 12 лет не давал ей развод. Все это время влюбленные вынуждены были тайно встречаться, терпя насмешки и упреки со стороны всех тех, кто знал об этом романе. Именно в этот непростой жизненный период у Алексея Толстого возникли сомнения в том, действительно ли правильно он поступает, разрушая чужую семью. И в 1856 году появилось стихотворение “Лишь только я останусь сам с собою…” , в котором автор делится с читателями сомнениями и, в то же время, находит правильное решение проблемы.
Поэт признается, что его “голоса призывают толпою”. Речь идет, вероятно, не о людях, а о мыслях Толстого, который рассматривает различные варианты развития отношений с Софьей Миллер и пытается выбрать среди них самый правильный и честный. Он понимает, что для брака с этой женщиной существует слишком много препятствий, преодолеть которые не в силах даже столь сильная и безрассудная любовь. Поэтому он хочет оградить свою избранницу от нападок общества, защитить ее честь и достоинства в глазах тех, кто не гнушается сплетнями и пересудами. Как это сделать, поэт не знает, поэтому отмечает: “В сомнении рвется душа пополам”. Если поставить точку в этом романе, то доброе имя возлюбленной со временем будет восстановлено. Однако будет ли она счастлива, оставшись с законным супругом?
Любовь и разлука, честь и презрение – все это находится на различных чашах весов, заставляя поэта сделать непростой выбор. “Но где же прямая, святая дорога?”, – задается вопросом автор. В итоге он принимает решение идти “на голос, который всех манит сильнее”, т. е. прислушаться к собственным чувствам, заглушив при этом голос разума, твердящий, что построить счастье на обломках чужой семьи невозможно.