Peter Petersen wuchs in Hamburg-St. Pauli auf. In den 30er und Anfang der 40er Jahre begeisterte er sich als junger Mann für verbotene Swing-Musik und vergnügte sich in Cafés auf der Reeperbahn. Petersen entzog sich den Nationalsozialisten mehrfach, bis die Einberufung zur Wehrmacht kam.