В «Списках населенных мест Российской империи» за 1862 год деревня упоминается с двойным названием - Горнастаевка (Брынница) при реке Истье.

Списки населенных мест Рязанской губернии - СПб., 1862. - Т. 35. - С. 84

Селение названо по речке Горностаевке.

Журкин И., Катагощин Б. ГАРО Ф. Р - 5039, Оп. 1. Д 455, Л. 5

Когда-то в этих местах водились горностаи, по ним-то и дано название.

Горностай - зверек из рода хорей.

Даль В. Толковый словарь. - М., 1989. - Т. 1. - С. 380.