После Русско персидской, Русско турецкой и Польской войн в русской армии и во флоте оказалось довольно много старослужащих солдат и унтер офицеров, принимавших участие еще в войнах начала XIX века (в том числе в Отечественной войне 1812 года и заграничном походе) и имевших многочисленные боевые награды. Тогда то и встал вопрос о специальной награде для солдат и унтер офицеров – сверхсрочников. В 1833 году была впервые выпущена серебряная медаль с надписью «За усердие», которой были награждены старослужащие солдаты и унтер офицеры роты дворцовых гренадер и лейб гвардии гарнизонного батальона. Медаль эта была диаметром около 32 мм, на лицевой стороне ее было профильное изображение императора Николая I, а на обороте надпись «За усердие» и концентрические круги. Носилась медаль на Аннинской ленте.

Следующее пожалование этой медалью состоялось в 1837 году, после пожара в Зимнем дворце. Тогда солдаты роты дворцовых гренадер, лейб гвардии саперного батальона и Преображенского полка, несшие дежурство во дворце, спасли от огня большую часть мебели, картин и предметов дворцового убранства, имеющих выдающуюся художественную ценность, а также отстояли от огня залы и комнаты соседнего Эрмитажа.

26 августа 1839 года на Бородинском поле по случаю открытия здесь памятника состоялись большой праздник и театрализованный бой, имитирующий Бородинское сражение. А затем прошел торжественный парад войск гвардии и Московского гарнизона, после которого старослужащие солдаты и унтер офицеры были награждены медалями «За усердие».

В 1841 году специальным указом было узаконено награждение этой медалью за выслугу лет. Причем были введены две ее разновидности: нагрудная на Аннинской ленте (для прослуживших 5 лет сверх положенных двадцати) и шейная на Александровской (для прослуживших еще 5 лет после награждения нагрудной медалью).

После указа 1841 года медаль «За усердие» иногда, в особых случаях жаловалась не только в соответствии с установленным порядком, но и за подвиги и отличия. Так, во время Крымской войны по представлению адмирала П. С. Нахимова этой награды были удостоены многие жители героически оборонявшегося Севастополя.

Вскоре после окончания Крымской войны, когда сроки действительной службы были уменьшены (сначала до 12 лет, затем до 6), медаль «За усердие» была подразделена на несколько разрядов. Прослужившим сверх установленного срока 4 года она давалась на Аннинской ленте, за следующие 4 года – на Александровской. За 12 лет выслуги производилось награждение шейной серебряной медалью на Владимирской ленте, а за 16 лет сверхсрочной службы давалась шейная позолоченная медаль на Андреевской ленте. Внешний вид медали также изменился: на лицевой стороне ее появился профиль нового императора – Александра II, а надпись «За усердие» на обороте была заключена в венок из дубовых и лавровых веток. При Александре III была добавлена еще шейная медаль на Александровской ленте, дававшаяся после получения всех нагрудных медалей, а золотая медаль на Андреевской ленте стала наградой за 24 года сверхсрочной службы.

В 1896 году был установлен новый срок службы в армии 4 года и 6 лет на флоте. Естественно, это повлияло и на порядок награждения медалью «За усердие». Первой теперь стала выдаваться медаль на ленте ордена Станислава (за 4 года сверхсрочной службы), за следующие 4 года давалась медаль на Аннинской ленте, затем на Александровской. После этого производилось награждение шейными медалями: на Александровской, Владимирской, Андреевской лентах (соответственно за 24, 28 и 30 лет службы сверх срока). Эта система награждения сохранялась до 1917 года.