Стихотворение делится на две части: первая рассказывает о судьбе кинжала, который служил горцу, затем был взят как трофей и продан торговцу-армянину, у которого куплен богатым покупателем для коллекции оружия и стал “игрушкой золотой”.
Вторая часть – рассуждение о значении поэта в обществе, которая содержит сравнение роли поэтического слова в прошлом и в настоящем. В конце этой части вновь возникает образ кинжала.
Все стихотворение построено на сравнении: роль поэта в обществе сравнивается с судьбой кинжала. Изначально кинжал, лишенный украшений, хранящий “таинственный закал”, служил для того, для чего он изначально предназначался, – для битвы. Так и поэт в обществе выполнял роль оружия, свет “в немом благоговении” внимал звучанию стихов:
Бывало, мерный звук твоих могучих слов Воспламенял бойца для битвы, Он нужен был толпе, как чаша для пиров, Как фимиам в часы молитвы. Твой стих, как Божий дух, носился над толпой; И, отзыв мыслей благородных, Звучал, как колокол на башне вечевой, Во дни торжеств и бед народных.
После того как кинжал оказался лишен своих ножен и стал лишь украшением в коллекции богатого владельца, он стал безвредным, но и бесславным. Так и поэт, слово которого потеряло направленность борьбы и служит лишь в качестве виньетки, “свое утратил назначенье”. Красивость стиха сравнивается с золотыми ножнами. Но Лермонтов понимает, что если кинжал и слово поэта не использовать по их подлинному назначению, они теряют свои свойства: так, способность найти нужное слово, поэтический дар покрывается “ржавчиной презренья”. Здесь стихотворение “Кинжал” идейно пересекается с элегией “Дума”.