Н. Д. Грязев родился 8 (20) февраля 1868 г. в дворянской семье, владевшей имениями в Вологодской и Ярославской губерниях. Дед Н. Д. Грязева, Константин Александрович Грязев (1791–1860), ветеран Отечественной войны 1812 г., участник Бородинской битвы. Отец, Дмитрий Константинович Грязев (1823–1885), действительный статский советник, штабс-капитан, предводитель дворянства Вологодского уезда. Мать, Мария Павловна, урождённая Долгово-Сабурова (1835–1901) была из семьи гвардии полковника.