Net als vele andere pony- en paardenrassen dankt ook de Dartmoor pony zijn naam aan de streek van herkomst. Reeds honderden jaren leefden zij op de drassige gronden te midden van de heuvels in Dartmoor. De streek Dartmoor is een gebied in het zuidwesten van Engeland dat tussen de Atlantische Oceaan en Het Kanaal ligt. De Dartmoor pony's leefden daar in grote kudden en de meeste van hen werden toen gebruikt voor het zware werk in de mijnen. Zo gebeurde het dat een pony eenmaal in de mijn afgedaald, nooit meer het daglicht zou aanschouwen.

De streek Dartmoor, het woord "Moor" zegt het al, is een gebied met verraderlijke moerassige dalen, veroorzaakt door veel regen, dat deels blijft staan en onvoldoende in de rotsige bodem kan wegzinken. Je kunt je voorstellen dat dit een enigszins kaal gebied is waar geen overvloed aan voedsel voor deze pony is.
De Dartmoorpony is daarom ook voordelig en gemakkelijk in zijn onderhoud. In de streek van herkomst heeft de Dartmoor pony een natuurlijke bescherming tegen wind en regen door de heuvels en de rotsblokken die zich in dit gebied bevinden, maar in ons vlakke wind- en waterland zullen zij in een hoekje in de wei een goedkope beschutting in dankbaarheid aanvaarden

De Dartmoor heeft erg lang in het wild geleefd, waardoor het geharde en fitte pony’s werden. En nog steeds lopen er enkele wilde pony’s rond op de heidevelden en moerassen van Dartmoor.

Waarschijnlijk stamt de pony af van een Europees ras uit de oudheid. Deze pony’s werden tijdens de Normandische invasie naar Engeland gebracht, waar ze lang in het wild hebben geleefd. Hierdoor zijn het robuuste pony’s geworden. Dit maakte ze uiterst geschikt voor het zware werk dat de Dartmoor vaak moest verrichten in de mijnen. Om het ras te verbeteren is het ras af en toe gekruist met andere rassen. Zo heeft de Dartmoor invloeden van de Arabisch Volbloed, de Welsh Mountain pony, de Shetlander en de Fell pony.

In 1898 zette de National Pony Society uit Engeland een rasstandaard op voor de Dartmoor.