La christianisation de l’antique cité gallo-romaine d’Andematunnum, capitale des Lingons et ancêtre de l’actuelle ville de Langres, se fit sans doute progressivement sous l’influence de marchands et de soldats venus de Lyon. La nouvelle religion apparaît relativement organisée à l’aube du IVe siècle, si l’on admet que le Didier qui approuva les décisions du concile de Sardique (343) était bien le troisième évêque de Langres. Mais on ignore tout des premiers édifices cultuels de la cité comme de la cathédrale qui précéda l’édifice actuel, dédiée peut-être, selon une tradition très discutée, à l’apôtre saint Jean l’Évangéliste.

C’est au VIIIe siècle que ce dernier aurait cédé le patronage de l’église et du diocèse à saint Mammès, par suite de l’arrivée de reliques apportées d’Orient par un pèlerin. Mammès, chrétien de Cappadoce (Asie mineure), dont le témoignage de deux Pères de l’Église assure l’historicité, aurait été martyrisé sous l’empereur Aurélien (273-274) ; par suite des nombreux miracles accomplis sur son tombeau, il connut une grande vogue au IVe siècle. Une basilique lui fut dédiée à Constantinople avant que son culte se répande en Italie, en Provence et à Poitiers. Langres reçut à trois reprises d’importantes reliques du saint, devint le centre de son culte en Occident et put ainsi contrebalancer l’influence de Dijon, où se développait le culte de saint Bénigne et où les évêques de Langres avaient parfois la tentation de résider (Dijon appartint au diocèse de Langres jusqu’en 1731). 

C’est sans doute dans la seconde moitié du XIIe siècle, sous l’impulsion de l’évêque Geoffroy de La Roche (mort en 1162), un parent de saint Bernard de Clairvaux, que fut entreprise la construction de la cathédrale actuelle. Si la chronologie précise, faute de documents, laisse la part belle aux historiens (la date officielle de la dédicace, 1196, n’est pas assurée), ceux-ci s’accordent généralement sur une construction en deux étapes, le chœur, le déambulatoire et partie du transept dans un premier temps, achèvement du transept, nef et portail dans un second temps. L’édifice n’a pas manqué de retenir très tôt l’attention des archéologues. Eugène Viollet-le-Duc, qui sauva au XIXe siècle tant de monuments médiévaux oubliés et menacés de ruine, trouvait que la cathédrale de Langres était « un des plus fertiles en enseignements [...] et certainement l’un des mieux construits ».

Sur un plan habituel de croix latine orientée vers l’est, la cathédrale a été construite par des maçons inconnus, s’inspirant de techniques et de modes traditionnelles ou plus originales, utilisées dans des régions proches. De Bourgogne, où s’imposait le modèle de l’abbaye de Cluny, sont venus les piliers cruciformes et les pilastres cannelés, les voûtes en cul-de-four de l’abside et des chapelles des croisillons du transept, l’élévation tripartite de la grande nef et du chœur. À l’Ile-de-France les constructeurs empruntèrent le nouveau voûtement sur croisée d’ogives et les techniques neuves de consolidation, notamment les arcs-boutants. Ainsi se justifie le qualificatif d’église de transition généralement attribué à la cathédrale de Langres, où se rejoignent harmonieusement roman finissant et gothique naissant, influences bourguignonnes et techniques sénonnaises ou parisiennes. Il faudrait ajouter les exemples venus des vieux bâtiments gallo-romains encore très présents dans la cité.

Des remaniements ultérieurs ont notamment modifié l’extrémité orientale par la construction de chapelles absidales (XIVe siècle), le bas-côté nord par l’adjonction d’une chapelle Renaissance (1549-1551) et la façade occidentale, entièrement reconstruite dans le goût classique (1760-1768) et qui contraste fortement avec le bâtiment médiéval. Les importantes restaurations conduites au XIXe siècle par l’architecte Durand ont été menées dans le goût néo-roman cher à l’époque (reconstruction totale de la sacristie) et ont insisté sur les influences bourguignonnes (toiture en tuiles vernissées), orientations reprises à leur compte depuis cette époque par les architectes des Monuments historiques en charge de la conservation du bâtiment, classé en 1862. 

Quant au mobilier placé dans l’édifice, il date, dans sa quasi-totalité, des XIXe et XXe siècles, la Révolution ayant fait place vide, détruit le jubé qui séparait le chœur, réservé aux chanoines, de la nef des fidèles, ainsi qu’une bonne partie du cloître dont ne subsistent que les ailes orientale et méridionale (Bibliothèque municipale). Appartiennent cependant au XVIIIe siècle les stalles du chœur, les boiseries des transepts et le grand orgue enlevés à l’ancienne abbaye cistercienne de Morimond et installés dans la cathédrale en 1792. Plusieurs statues (Notre-Dame la Blanche, Notre-Dame de Bon Secours), des reliefs sculptés (la Résurrection de Lazare, La Procession des Reliques de saint Mammès), des tableaux (l’Histoire de la chaste Suzanne, la Vie de saint Amâtre) attestent de l’ancienne richesse des décors intérieurs à laquelle s’ajoute celle de l’actuel Trésor.

L’ampleur de la cathédrale (91m de long, 24,40m de large, 23m de hauteur), accentuée par les différences sensibles entre la nef centrale (12,30m) et les collatéraux (5,70m), également moins élevés (9,70m), contraste avec la modestie de la ville (8500 habitants). Elle rappelle l’importance ancienne du diocèse (qui comprenait des parties notables de la Champagne, de la Bourgogne, de la Lorraine et de la Franche-Comté et dont l’évêque était duc et pair de France), aujourd’hui limité au seul département de la Haute-Marne.