Der Mauerpark liegt auf dem Gelände eines ehemaligen Güterbahnhofs und eines Exerzierplatzes. Davon zeugt noch heute der Gleimtunnel, das ist die Unterführung der Gleimstraße unter einer Vielzahl von Gleisbrücken.
Ein anderes Überbleibsel aus dieser Zeit ist die Schwedter Pflasterstraße, die den Mauerpark in der Länge durchzieht und den Parkhauptweg bildet. Als der Bahnhof nach dem Zweiten Weltkrieg nicht wieder in Betrieb ging, entstand dort ein Gewerbegebiet.
1961 wurde die Berliner Mauer errichtet und zwischen der Hinterlandmauer und der Hauptmauer ein breiter Sandstreifen zur Erschwerung von Fluchten angelegt (allgemein bekannt als Todesstreifen).
Aufgrund eines Gebietstausches wurde 1988 eine neue Hauptmauer etwas weiter westlich errichtet, ohne dass die alte gleich abgerissen wurde. Dadurch standen hier beim Mauerfall insgesamt drei Mauern.
Nach dem Fall der Mauer begannen sich Pflanzen auf der Brache auszubreiten, Anwohner pflanzten Bäume auf dem Stadionhang und auf dem Falkplatz. Es gelang, das Gebiet als Erholungsfläche für die Bewohner des Prenzlauer Bergs und des Brunnenviertels in die Planung zu bringen.
Dank der finanziellen Unterstützung durch die Allianz Umweltstiftung konnten 1994 nach mehreren Jahren Bauzeit die beiden östlichen von insgesamt vier Bauabschnitten des Mauerparks fertiggestellt werden.
Die Vollendung des Parks wurde jedoch mehrfach zurückgestellt, da die Mittel zum Erwerb der westlichen Fläche nicht ausreichten. Ein Zaun zwischen Park und den Gewerbeflächen, die mit Ausnahme des Flohmarktes mittlerweile nicht mehr vermietet sind, setzt quasi die Geschichte der deutsch-deutschen Teilung fort.
Zur Zeit wird erneut die Fertigstellung des Mauerparks in den westlichen Bereichen in der Politik verhandelt und in der Bürgerwerkstatt Mauerpark Fertigstellen geplant.