Графский и два дворянских рода Ростопчиных имеют крымско-татарское происхождение. Согласно сведениям древних родословных книг у одного крымского вельможи был сын по прозвищу Ростопча (или Растопча), который в начале XVI века прибыл на службу к государю всея Руси Василию III (отцу Ивана Грозного).

Спустя почти 300 лет один из потомков татарина Ростопчи – Фёдор Васильевич Ростопчин – сделал блестящую придворную карьеру и добился больших высот в иерархии Российской империи. Он был выдающимся государственным деятелем, генералом от инфантерии, московским градоначальником, известным писателем и публицистом патриотического толка, а также фаворитом императора Павла I и руководителем его внешней политики.  

Однажды государь Павел Петрович, находясь в многочисленном обществе, где было много князей, спросил у своего министра иностранных дел графа Фёдора Ростопчина: – Скажи мне, отчего ты не князь? Вот Юсуповы, Шереметевы – выходцы из ордынских мурз – получили княжеское достоинство, а твои предки – нет.

Кстати, хороший вопрос от всесильного самодержца и помазанника божия, который волен даровать любые титулы. Тем паче если есть отличное усердие и неустанные труды на благо государства, за которые можно было бы уже и пожаловать княжеское достоинство. Вполне вероятно, что именно об этом и подумал Ростопчин, но тактично промолчал. Целую минуту он колебался с ответом, а потом уточнил у императора: может ли он высказать настоящую причину? Получивши утвердительный ответ, сказал: – Предок мой, выехавший из Крыма в Москву, прибыл сюда зимой...