Peter Rühmkorf wurde am 25. Oktober 1929 in Dortmund geboren und wuchs in Warstade auf. Seine Schulbildung schloss er im Jahr 1951 mit dem Abitur ab. Zunächst studierte er in Hamburg Pädagogik und Kunstgeschichte, später dann Germanistik und Psychologie mit dem Ziel, Volksschullehrer zu werden. Allerdings brach er sein Studium ab. Bereits während dieser Zeit war er Mitherausgeber der Literaturzeitschrift „Zwischen den Kriege“. Von 1958 bis 1964 arbeitete Rühmkorf als Verlagslektor für den Rowohlt Verlag. Seither war er freier Schriftsteller und Dichter in Hamburg. In den sechziger Jahren versuchte er sich auch als Dramatiker.
Rühmkorf wurde zahlreiche literarische Preise verliehen und er trat regelmäßig als Gastdozent in Erscheinung – sowohl an deutschen, als auch an ausländischen Universitäten. Er war Mitglied der Gruppe 47, des P.E.N. sowie der Akademie der Künste in Berlin, der Deutschen Akademie für Sprache und Dichtung in Darmstadt, und der Freien Akademie der Künste in Hamburg.
Peter Rühmkorf starb am 8. Juni 2008 an den Folgen einer Krebserkrankung. Er hinterlässt seine Ehefrau Eva-Marie Titze alias Eva Rühmkorf, die er im Jahr 1964 heiratete.