Роковая встреча Алексея Толстого и Софьи Миллер состоялась в 1852 году, и уже через несколько месяцев они стали любовниками. Роман стал достоянием общественности, и до определенного момента к нему относились со снисходительной вежливостью, так как подобные взаимоотношения если и не поощрялись, то уж точно не порицались в высшем свете. Однако Алексей Толстой отказался играть по общепринятым правилам, публично заявив, что намерен жениться на своей избраннице. Именно тогда разгорелся настоящий скандал, в который были вовлечены десятки людей, включая родственников влюбленных и их друзей. Но самым униженным и оскорбленным в этой ситуации ощущал себя Лев Миллер, законный супруг Софьи. Как позже выяснилось, он состоял в дальнем родстве с Алексеем Толстым, что еще больше подлило масла в огонь. В итоге Миллер отказался дать развод своей жене и настоял на том, чтобы она отказалась от встреч с любовником. Чтобы не накалять обстановку, поэт уехал в родовое имение, находящееся в Черниговской губернии. Однако накануне у него произошло объяснение с возлюбленной, во время которого Толстой настаивал на том, чтобы окончательно разорвать отношения. Софья Миллер с негодованием отвергла это предложение, и пара рассталась, так и не определившись, что же делать дальше.
Находясь в родовом имении, Толстой долго размышляет над своими отношениями с этой женщиной и приходит к выводу, что только она одна в состоянии сделать его по-настоящему счастливой. Именно тогда поэт принимает решение о том, что будет до конца бороться за свою любовь и ждать, когда судьба смилостивится над ним, позволив воссоединиться с избранницей. В итоге появляется цикл стихов, адресованных Софье Миллер, которые поэт тайно передает любимой. Среди них и произведение под названием «Не верь мне, друг, когда в избытке горя…» , написанное осенью 1856 года.
В это время петербургская знать возвращается в город, начинается время балов и всевозможных светских развлечений. Однако Алексей Толстой принимает решение остаться в деревне, чтобы не обострять и без того непростую ситуацию. Он понимает, что Софья Миллер ждет его, но не может поступить иначе, боясь еще больше скомпрометировать свою избранницу. Поэтому он просит, чтобы она забыла все то, что было сказано во время расставания, и не верить тому, что любовь прошла. «В отлива час не верь измене моря, оно воротится к земле, любя», — отмечает поэт.
Он осознает, что готов на все ради своей избранницы и отмечает: «Мою свободу вновь тебе отдам». Длительная разлука помогает поэту разобраться в собственных чувствах и понять, что любовью нельзя разбрасываться, даже если она порой причиняет нестерпимую душевную боль.