De naam van het dorp is afgeleid van moer,  een veengebied dat in dit geval eigendom was van de graaf van Holland.

‘s Gravenmoer wordt voor het eerst vermeld in 1293. Het is ontstaan  als veenkolonie en hoorde oorspronkelijk bij het Graafschap Holland dat een  gedeelte van het gebied ten zuiden van de rivier de Maas in bezit had. In het  bewuste jaar gaf graaf Floris V vijftien hoeven wilderten in den Groten  Ham aan Steven van Waalwijk. In 1326 sprak men van vijftien hoeven  venes, legghende in Sgraven moer. Samen met Roosendaal wordt ‘s Gravenmoer  genoemd als oudste veenkolonie van Nederland. Er lag een turfvaart, die echter  in de loop van de 15e eeuw verzandde, waarna in de 16e eeuw de ‘s Gravenmoerse  Vaart werd gegraven.

Van het begin af aan was ‘s Gravenmoer een schippersplaats, waar gehandeld  werd in turf,en rijshout. Uiteindelijk kwam aan de turfwinning en later ook aan de scheepvaart een einde. In 1950 werd de haven gedempt.

In 1421 werd het dorp tijdens de Sint-Elisabethsvloed zwaar getroffen.

Staatkundig bezien hoorde ’s Gravenmoer, samen met de andere dorpen in de Langstraat, bij het graafschap Holland. Na 1609 was in het Hollandse gebied de uitoefening van de katholieke eredienst verboden. In 1610 wordt daarom de eerste predikant aangesteld.

In 1814 na de Franse tijd werd het dorp definitief bij de nieuw gevormde provincie Noord-Brabant gevoegd. Tot 1996 vormde ‘s Gravenmoer een zelfstandige gemeente, waarna het bij Dongen werd gevoegd.

In 1973 kreeg ‘s Gravenmoer een vlag, ontworpen door archivaris G.J. Rehm. De vlag bestaat uit drie banen in de kleuren rijksblauw, rood en rijksgeel. De blauwe en gele baan staan voor de wijken de Straat en de Vaart, waaruit ‘s Gravenmoer is samengesteld. De tussenliggende smalle rode baan verwijst naar het veenkanaal, de Oude Vaart, dat gegraven werd in het belang van de ontginning en uitmoering van het gebied in de ontstaansfase van het dorp.