Auf dem Beginn des Ersten Weltkrieges bereits vorhandenen Garnisonsfriedhof, einer Abteilung des Städtischen Friedhofs in Halberstadt, befinden sich die Gräber von 149 Opfern des Ersten Weltkrieges, davon 129 Deutsche, ein Österreicher und 19 Opfer unbekannter Nationalität. Diese starben zwischen dem 3. August 1914 und dem 22. Oktober 1917. Zu diesem Zeitpunkt wurde der Garnisonsfriedhof geschlossen, da seine Kapazität erschöpft war. Die nach diesem Datum in Halberstadt beerdigten Soldaten fanden ihre Ruhestätte auf dem „Neuen Militärfriedhof“.

Der sogenannte „Neue Militärfriedhof“ wurde 1917 in Erweiterung des Städtischen Friedhofes angelegt. Die Anlage war notwendig, da die Kapazität des Garnisonsfriedhofes erschöpft war. Hier befinden sich heute die Gräber von 186 Opfern des Ersten Weltkrieges, davon 174 Deutsche, zwei Russen, ein Türke und neun Opfer unbekannter Nationalität. Diese starben zwischen dem 22. Oktober 1917 und dem 24. Mai 1921.

Auf der gleichen Anlage befinden sich die Gräber von 167 Soldaten des Zweiten Weltkrieges. Dabei handelt es sich um 159 deutsche, einen italienischen und 7 unbekannte Kriegstote. Sie verstarben zwischen dem 04.09.1939 und dem 11.07.1945.

In unmittelbarer Nähe der Soldatengräber befindet sich der sogenannte Terrorfriedhof. Beiderseits des Gedenksteins mit der Aufschrift „Die Toten mahnen. 8.4.1945“ liegen die Opfer der Bombenangriffe auf Halberstadt von 1944 und 1945, besonders vom 8. April 1945. Neben den deutschen Toten sind auch vier belgische, vier ungarische, drei polnische, ein französisches, ein holländisches Opfer hier begraben.
Weiterhin befinden sich auf dem Terrorfriedhof zwei Urnen mit der Asche von 121 namentlich bekannten Zwangsarbeitern des früheren Reichsbahnausbesserungswerkes (RAW). Dies waren Abgeurteilte, die aus der JVA Wolfenbüttel für diese Arbeiten abgestellt worden waren. Dabei handelt es sich um 38 polnische und 18 italienische Kriegstote, um einen Ukrainer sowie um 64 Tote mit unbekannter Nationalität.
Unmittelbar vor dem „Neuen Militärfriedhof“ befindet sich der Ehrenhain für die Verfolgten des Naziregimes: Hier sind 164 Häftlinge des Außenlagers Langenstein-Zwieberge beigesetzt, die nach der Befreiung tot im Lager gefunden wurden oder unmittelbar danach verstarben. 58 Häftlinge aus Langenstein-Zwieberge, die vor 1945 ums Leben kamen und hier auf einer Fläche von 300 Quadratmetern bestattet wurden, sind namentlich und mit ihrer Nationalität erfasst.

In der Mitte des Hauptfriedhofs neben dem Ehrenhain für die Verfolgten des Naziregimes wurde 1988 ein schlichter Gedenkstein aufgestellt, der an die jüdischen Opfer erinnert.