Родился в селе Синеглинье Слободского уезда Вятской губернии (ныне с. Синегорье, Нагорского района, Кировской области). В метрической книге с. Синеглинья за 1755 г. есть запись «6 января у дьячка Ивана Кострова сын Ермил». Сын бедного дьячка рос, как и все крестьянские дети, посильно помогая в хозяйстве. В 1764, уже после смерти отца, семья Кострова была переписана в экономические крестьяне (бывшие монастырские крестьяне, переданные в 1764 в результате секуляризации церковных земель под управление коллегии экономии). В 1765 году Ермил Костров поступает учиться в Вятскую духовную семинарию, где как сирота, содержался за казенный счет. Летом 1773 Костров желая «свет наук свободных зрети», и имея мало надежд на продолжение учения, отправляется в Москву, где поднес своему земляку архимандриту Новоспасскому Иоанну Черепанову стихи, в которых описал свою участь «в чаянии отеческого милосердия к несчастным любителям наук» («Стихи архимандриту Иоанну», 1773). Благодаря протекции Черепанова, а также другого земляка, префекта академии А. Н. Серебренникова, Ермила Кострова принимают в Славяно-греко-латинскую академию. В академии поэтический талант, студента богословия Кострова, был также отмечен. От имени академии Костров даже выступал с поздравительной эпистолой архиепископу Московскому Платону Левшину. Однако не желая, по всей видимости, становиться церковнослужителем, Костров, между 1776 и 1778 г. г., перешел учиться в Московский университет.
Поэтические способности Кострова были замечены и в университете. Так, уже в 1778 году он читал свою оду на рождение великого князя Александра Павловича. В университете Костров слушает философию у Д. С. Аничкова, логику у X. А. Чеботарева, красноречие у А. А. Барсова, греческую и римскую словесность у Х.-Ф. Маттеи. Серьезные филологические познания стали основой, на которой выросло его переводческое мастерство. В университете Костров ежегодно сочинял и издавал торжественные оды на день рождения и коронации Екатерины II и членов императорской фамилии. Также с огромным увлечением занимается греческой и римской литературой, знакомится с переводами и сам переводит греческих и римских авторов.
В 1779 куратор университета И. И. Шувалов произвел Кострова в бакалавры. 1779-1782 — время серьезных и многочисленных упражнений Кострова в «словесных науках». Он написал полтора десятка од и стихотворений от имени университета, в основном благодаря этому, в 1782 его зачисляют в штат «университетским стихотворцем». В обязанности Кострова входило сочинение стихов на торжественные случаи. Кострову покровительствовал также М. М. Херасков. По преданию, сохраненному А. С. Пушкиным, «Херасков очень уважал Кострова и предпочитал его талант своему собственному». Возможно, через Хераскова Костров сошелся с Н. И. Новиковым, и его кружком. В этот период Костров перевел (по предложению Новикова) роман Апулея «Золотой осел», легкий и «галантный» слог перевода, в совершенстве передающий живые оттенки авантюрного повествования Апулея были удачей Кострова. Также были сделаны переводы повести «Зенотемис» и поэмы «Эльвирь» француза Арно де Бакюлара, поэмы Вольтера «Тактика» (1779), в «Тактике» Костров обнаружил мастерское владение александрийским стихом и понимание оригинала, которых недоставало прежнему переводчику этой поэмы Ф. Левченкову.
В 1784 Костров публикует в «Собеседнике» (ч. 10) «Письмо к творцу оды, сочиненной в похвалу Фелицы, царевны Киргизкайсацкой» — отклик на «Фелицу» Г. Р. Державина. Костров приветствовал «путь непротоптанный и новый», которым шел Державин, простоту его слога и отказ от поэтики «парящей оды». Однако сам Костров остался верен традиции грандиозных од «росских муз орла» М. В. Ломоносова, которого он провозгласил своим учителем в одном из первых печатных стихотворений («Ода на день коронации», 1778). Воздействие «Фелицы» на Кострова было все же велико: он существенно расширил жанровый и стилистический репертуар своих стихотворений, стал писать и «легкие» оды простым и «нежным» слогом. О литературных симпатиях Кострова также известно, что «Вертер» И.-В. Гете составлял «одно из любимых чтений» его и что большое впечатление произвел на него «Освобожденный Иерусалим» Т. Тассо.
В последующие годы должность штатного стихотворца стала его тяготить. За 1783-1788 он написал всего пять официальных торжественных стихотворений. Костров добивался штатного места преподавателя, так как ему хотелось обучать молодых людей поэзии. По словам Д. И. Хвостова, Кострову «хотелось учить поэзии с кафедры, но его не разгадали». Все попытки Ермила Кострова получить эту должность были тщетны.
В 1786-1787 Костров, видимо, жил в Петербурге. По крайней мере известно, что он сблизился с Ф. О. Туманским и напечатал в его журнале «Зеркало света» ряд стихотворений и переводов, в основном легкого и сатирического жанров, а также и первый русский стихотворный перевод первых шести песен «Илиады» Гомера, чему более всего обязан своей известностью, скорее посмертной, чем прижизненной. Костровская «Илиада», в отличие oт прежних прозаических переводов К. А. Кондратовича и П. Е. Екимова, была ориентирована на «просвещенный» вкус новой литератур ной эпохи. Эта установка мотивировала выбор рифмованного александрийского стиха (эпического размера) для воспроизведения гекзаметра. Высокий стиль, приближенный к одическому, формировала благодаря архаизированному синтаксису и славянизированной лексике. Перевод выполнен в традиции фр. «метафорического перевода» что отличает его от культурно-филологического перевода, впоследствии осуществленного Н. И. Гнедичем. Именно благодаря такой уставовке Кострова его Гомер «был принят со всеобщим рукоплесканием» и вызвал восторженную рецензию Туманского. Свой перевод Костров посвятил и, видимо, лично поднес Екатерине II. Причиной незавершенности перевода «Илиады» было, вероятно, то, что Костров пришел к выводу о невозможности продолжать переделывать гомеровский эпос по канонам французского классицизма, которые перестали его удовлетворять.
По возвращении в Москву Костров вступил во вновь организованное Общество любителей учености при Московском университете. В этот период Костров часто печатает свои стихотворения в «Московских Ведомостях», «Приятном и полезном препровождении времени» Сохацкого и Подшивалова (1793 — 1796), в «Аонидах» Карамзина (1796) и других. Костров хорошо знал древние и французский языки; его попытка привить русскому языку формы и понятия европейских литературных образцов заслуживают большого внимания.
С 1789 героем од Ермила Кострова становится А. В. Суворов, победитель при Рымнике и Фокшанах.
Суворов, громом ты крылатым облечен И молний тысящью разящих ополчен, Всегда являешься во блеске новой славы…
Суворов, в свою очередь, высоко ценил литературные сочинения и переводы Кострова, называл его своим приятелем, в частности предпочитал «Эпистолу…» Кострова на взятие Измаила (1791) оде «На взятие Измаила» Державина. Поэт стал пользоваться благосклонностью Суворова. После публикации «Эпистолы Суворову-Рымникскому на взятие Варшавы» полководец распорядился выдать ему 1000 руб. Узнав о лестных для себя отзывах Суворова, Костров написал ему письмо; в ответ он получил стихотворное послание Суворова, в котором содержалась такая оценка высокого слога поэта:
Вергилий и Гомер, о если бы восстали, Для превосходства бы твой важный слог избрали.
Суворову же посвящен прозаический перевод «гальских стихотворений» Осииана (с фр. перевода П. Летурнера) который вышел в свет в 1792 (2-е изд. СПб., 1818). «Высокий штиль» перевода Кострова служил на этот раз созданию «сумеречного» романтического колорита. Труд Кострова заложил основу русского оссианизма и получил известность за пределами России (на него, в частности, опирались В. Ганка и И. Линда). «Костров, усыновивший Гомера России, приносит новый и приятный дар своему отечеству. Публика, давно уже г. Кострову место между знаменитыми стихотворцами определившая, примет, конечно, сей его труд с признательностью», — писал Туманский. Оссиан в переводе Кострова стал любимым чтением Суворова, «был с ним во всех походах».
В последний период жизни Ермил Иванович в своих оригинальных стихах стремится выработать легкий, гладкий слог и стих, характерный для раннего сентиментализма. Творческая палитра Кострова многогранна: в ней прослеживаются традиции Ломоносова, и стиль Державина, и зарождение сентиментализма и даже предромантизм.
Современники высоко ценили творчество Ермила Ивановича Кострова, однако жил он бедствуя, не имея своего угла, хотя ему покровительствовали И. И. Шувалов, М. М. Херасков, Ф. Г. Карин, но они не могли или не хотели изменить положение поэта. Суровая жизнь, нищета, работа, которая не могла прокормить, вынудили Кострова искать утешение в вине. В 1790-е гг. Ермил Костров оставил университет и находил приют то у Шувалова, то у Хераскова, то у Ф. Г. Карина. Пристрастие Кострова к вину становилось все сильнее. Державин написал в связи с этим эпиграмму:
Весьма злоречив тот, неправеден и злобен, Кто скажет, что Хмельник Гомеру не подобен: Пиита огнь везде, и гром блистает в нем; Лишь пахнет несколько вином.
Анекдоты об этой слабости Кострова рассказывались и позднее; по словам А. С. Пушкина: «Когда наступали торжественные дни, Кострова искали по всему городу для сочинения стихов и находили обыкновенно в кабаке или у дьячка, великого пьяницы, с которым был он в тесной дружбе»
Умер Ермил Иванович Костров 9 декабря 1796 года, похоронен в Москве на Лазаревском кладбище. Говорят перед смертью, иронизируя над собой сказал: «…странное дело, пил я, кажется, все горячее, а умираю от озноба».
В последствии А. С. Пушкин, который восхищался творческим подвигом Ермила Ивановича Кострова, скажет о последних днях его:
Костров на чердаке безвестно умирает, Руками чуждыми могиле предан он: Их жизнь — ряд горестей, гремящее слава — сон.
Печальная судьба Кострова побудила Кукольника написать пятиактную драму в стихах: «Ермил Иванович Костров» (Санкт-Петербург, 1860).
Полное собрание всех сочинений и переводов в стихах Ермила Кострова вышло в Санкт-Петербургской Библиотеке (1802)