Les traces les plus anciennes d’un peuplement sur le site de l’actuelle commune de Fontaine Notre Dame remonte à l’époque gallo-romaine. Des fouilles archéologiques, réalisées à l’occasion de la construction du château d’eau en 1928, lors du chantier de création de l’autoroute A2 et en 2005 lors de l’aménagement du quartier résidentiel du Bois, ont mis à jour des fragments de poteries, des pièces de monnaie romaine, des objets en fer et en bronze et même les traces d’anciennes sépultures.

Le nom de Fontaine est attesté vers l’an 700, à la fois pour désigner des possessions foncières et des fermes mais aussi une paroisse. La seigneurie de Fontaine Notre Dame est attestée en 991 par une charte impériale ratifiée par Othon III, empereur germanique. La chaussée romaine de Bapaume devient l’axe sur lequel vont s’inscrire les habitations. Au XIIème siècle, le sceau de l’abbaye de Prémy (démolie en 1581, située près du Bois de la Folie) donnera ses armoiries à la commune : une vierge assise tenant dans ses bras l’enfant Jésus.

Le village va surtout se développer lors du XIXème siècle en lien avec l’essor de Cambrai et du Cambrésis. Plus de 2000 habitants sont dénombrés alors, malgré les épidémies de choléra de 1832 et 1849. Les activités agricoles, mais aussi de commerce assurent la prospérité communale.

La Grande Guerre va porter un coup très dur à la commune. Le village va s’inscrire sur la ligne de défense allemande dite Ligne Hindenburg, édifiée à partir de 1916. La commune va connaître une destruction presque intégrale lors des combats de la Bataille de Cambrai en novembre 1917. Première grande opération militaire employant massivement des chars, ou tanks comme les désignent les Britanniques, les rues du village vont être le théâtre d’affrontements violents entre Britanniques et Allemands. Les principaux édifices, dont l’église Saint Martin, sont détruits lors de cette bataille. Fontaine Notre Dame a été le point le plus avancé de l’offensive anglaise.

Les années 1920 et 1930 sont des années de reconstruction : nouvelle mairie, nouvelle école (reconstruite par souscription auprès de la commune « Marraine de Guerre » de Chemillé dans le Maine et Loire), nouvelle église et nouvelles habitations. Dans sa physionomie actuelle, Fontaine Notre Dame est le témoin de cette période.

Depuis les années 1950, le village de Fontaine Notre Dame et son prolongement vers Cambrai, à Petit Fontaine, s’est transformé en commune résidentielle. Les services y occupent une place importante. Elle continue d’accueillir la confiserie des renommées Bêtises de Cambrai. Entreprises de services, restaurants, hôtels sont associés au dynamisme des aménagements de la Communauté d’Agglomération de Cambrai : les axes structurants autoroutiers, la plateforme logistique e-Valley et les aménagements du futur port intérieur de Cambrai-Marquion et du Canal Seine-Nord-Europe.