Jau senajos laikos sengrieķi Donas grīvā nodibināja Tanaīsu (grieķu: Τάναϊς) pašreizējās Azovas pilsētas vietā.
Pēc Krievu—turku kara (1735—1739) šo apvidu pievienoja Krievijas impērijai.
1761. gadā nodibināja cietoksni, ko nosauca kanonizētā Rostovas metropolīta Dmitrija (1651—1709) vārdā (Крепость св. Дмитрия Ростовского).
Vēlāk cietoksni sāka dēvēt par Rostovas cietoksni.
Lai attīstītu tirdzniecību, 1778. gadā pēc Katrīnas II pavēles netālu cietošņa nometināja no Krimas hanistes pārvietotos armēņus, kas šeit nodibināja pilsētu ar nosaukumu Jaunā Nahičevāna (armēņu: Նոր Նախիջևան), ko vēlāk sāka dēvēt par Nahičevānu pie Donas. 1797. gadā tai piešķīra apriņķa pilsētas tiesības Jaunkrievijas guberņā, 1802. gadā iekļāva Jekaterinoslavas guberņā, kuras lielāka daļa atradās tagadējās Ukrainas teritorijā.
1835. gadā Rostovas cietoksni likvidēja un tā garnizonu pārcēla uz Anapu.
1887. gadā Rostovas pilsētu iekļāva Donas karaspēka apgabalā.
19. gadsimta beigās pilsēta izveidojas par lielu rūpniecības centru un otru lielāko (aiz Odesas) Krievijas ostu Melnās jūras baseinā.
Pilsoņu kara laikā Rostova bija Donas kazaku atamana Kaļedina pārvaldībā, 1918. gada februārī nodibināja Donas Padomju republiku. 1918. gada maijā ar vācu armijas palīdzību pilsētu ieguva Ukrainas hetmanis Skoropadskis. 1920. gada februārī pilsētu ieņēma Sarkanā armija un to iekļāva KPFSR sastāvā. 1928. gadā Rostovai pievienoja Nahičevānu pie Donas un nosauca par Rostovu pie Donas. 1937. gadā tā kļuva par Rostovas pie Donas apgabala centru.
Otrā pasaules kara laikā 1941. gada novembrī Vērmahts īslaicīgi ieņēma pilsētu, bet drīz vien Sarkanā armija to atguva. Otro reizi Vērmahts pielsētu ieņēma 1942. gada jūlijā, bet Sarkanā armija — 1943. gada februārī. Kaujās pilsētu gandrīz pilnīgi nopostīja.