Neben der Friedhofskapelle befinden sich 68 Gräber von Verstorbenen des Deutschen Heeres, die zwischen dem 3. Oktober 1914 und dem 9. Dezember 1919 dort beigesetzt worden sind. Im Gegensatz zu vielen anderen Städten begann die Stadt Gardelegen bereits während des Krieges mit der Gestaltung dieses Ehrenfriedhofes. Insbesondere das opulent gestaltete Kreuz erregte bereits während des Krieges den Unmut der Beratungsstelle für Kriegerehrungen in der preußischen Provinz Sachsen.

Die sterblichen Überreste eines 1918 verstorbenen französischen Soldaten wurden in den 1920er Jahren nach Frankreich überführt.

Während des Ersten Weltkrieges befand sich bei Zienau (heute ein Stadtteil von Gardelegen) ein großes Kriegsgefangenenlager, in dem ab 1914 über 10.000 Gefangene aus Frankreich, Belgien, England, Polen und Rußland untergebracht waren.

Eine Flecktyphus-Epidemie forderte zahlreiche Opfer, die anfangs auf dem städtischen Friedhof Gardelegen bestattet wurden. Dort wurde 1915 für die ersten 79 Toten von dem französischen Bildhauer Albert Sanchez ein großes Denkmal mit den Namen von 55 Franzosen, 19 Russen und 5 Engländern errichtet. Es wurde 1916 zum Lagerfriedhof überführt. Das Denkmal galt bis 2011 als verschollen. Die beschädigte Figur wurde im Waldboden auf dem Gelände des ehemaligen Gefangenenfriedhofs gefunden und nach einer Restaurierung zum Gedenken an die im Lager Zienau Verstorbenen auf einer Sichtachse zum großen Kreuz für die deutschen Gefallenen des Ersten Weltkrieges, am Gräberfeld für die umgebetteten russischen Soldaten des Ersten Weltkrieges, im Jahre 2015 aufgestellt. Die deutsche Übersetzung der Inschrift auf dem Denkmal lautet:

Unseren Kameraden
Die nach Erfüllung Ihrer Pflicht gestorben sind
Einsam und fern der süßen Heimat
Doch nur ihre Körper ruhen unter diesem Stein
Ihre Seele wacht und betet daheim

Mit der schnellen Ausbreitung der Epidemie mit etwa 2.000 Erkrankten und wachsenden Todeszahlen legte man in der Nähe des Lagers schon 1915 einen Gefangenenfriedhof an. Der Friedhof verfiel während des Zweiten Weltkrieges und in den Jahren nach 1945 völlig. Schließlich überdeckte ihn eine Aufforstungsfläche.

Die Toten aus den westlichen Nationen waren bis 1926 in ihre Heimatländer überführt und z. T. in Kriegsgräberstätten beigesetzt. Nur 197 russische Tote blieben infolge der Wirren nach der Oktoberrevolution 1918 auf dem Lagerfriedhof. Nach Bemühungen des Vereins für Kultur- und Denkmalpflege Gardelegen und des Volksbundes Deutsche Kriegsgräberfürsorge e. V. konnten mit Unterstützung der Hansestadt Gardelegen und des Landes Sachsen-Anhalt die 197 russischen Soldaten exhumiert und auf dem städtischen Friedhof bestattet werden. Das Gräberfeld wurde am 13. November 2015 feierlich eingeweiht. Ein metallenes Gedenkbuch listet die Namen der bestatten Toten auf.

Ein weiteres Gräberfeld ist den Opfern des Zweiten Weltkrieges gewidmet. Hier ruhen 248 namentlich bekannte deutsche Kriegstote. Unter den Toten befinden sich Soldaten aber auch Kriegsgefangene und Zivilisten, die bei der Bombardierung Gardelegens im Jahr 1945 ums Leben gekommen sind. Ihre Namen werden auf Metalltafeln am Gräberfeld aufgelistet.

Am Eingang des städtischen Friedhofs befindet sich ein sowjetischer Ehrenfriedhof. Er ist Grabstätte für über 300 sowjetische Kriegsopfer, darunter Kriegsgefangene, Zwangsarbeiterinnen, Zwangsarbeiter und Kinder, zum Teil aus der Umgebung hierher umgebettet sowie sowjetische Soldaten und Familienangehörige, die nach Kriegsende verstarben. In einem Sammelgrab neben den sowjetischen Einzelgräbern wurden zudem 27 sowjetische Soldaten im Jahr 2015 beigesetzt, die aus dem Gefangenenfriedhof Zienau umgebettet worden waren. Anhand der aufgefundenen Erkennungsmarken konnte ermittelt werden, dass es sich um Kriegsgefangene des STALAG XI C (311) Bergen-Belsen handelte, deren sterbliche Überreste über die Toten des Kriegsgefangenenlagers Gardelegen-Zienau beigesetzt worden waren.