Mit Danny DeVito, mit dem er in Einer flog über das Kuckucksnest (1975) zu sehen ist, befreundete er sich bereits in seiner Jugend. Nach dem Highschoolabschluss verließ er 1954 seinen Heimatort Neptune und folgte seiner Mutter June nach Hollywood. Dort arbeitete er anfangs als Botenjunge für die Trickfilmabteilung von MGM.

Ende der 1950er Jahre nahm Nicholson Schauspielunterricht bei Jeff Corey. Unter seinen Kommilitonen waren Richard Chamberlain und James Coburn. 1958 traf er Produzent Roger Corman, der ihn für seinen Film Schrei, Baby-Killer besetzte. Auch in den Folgejahren war Nicholson hauptsächlich für Corman tätig und trat in B-Movies, wie zum Beispiel Kleiner Laden voller Schrecken (1960) und sein Regiedebüt The Terror (1963), auf. 1962 heiratete er die Schauspielerin Sandra Knight; ein Jahr später kam seine erste Tochter zur Welt. Jack Nicholson hat insgesamt fünf Kinder von vier verschiedenen Frauen. Mitte der 1960er versuchte sich Nicholson als Autor. So schrieb er unter anderem das Drehbuch für The Trip. Bei der Verfilmung durch Roger Corman lernte er im Jahr 1967 Peter Fonda und Dennis Hopper kennen. Hopper besetzte ihn für sein Roadmovie Easy Rider (1969). Mit diesem Kultfilm wurde er blitzartig berühmt und das erste Mal für den Oscar nominiert. Insgesamt war er bis jetzt zwölfmal nominiert, drei Oscars durfte er mit nach Hause nehmen. Der Aufstieg zum Hollywood-Superstar begann in den siebziger Jahren. Zu seinen bekanntesten Filmen zählen beispielsweise Chinatown (1974), Shining (1980), Eine Frage der Ehre (1992), Besser geht's nicht (1997), Das Versprechen (2001), About Schmidt (2002), Die Wutprobe (2003) und Departed – Unter Feinden (2006).