Alcanzó la fama en 1931 cuando protagonizó El enemigo público ( The public enemy), dirigida por William Wellman; película para la que en principio iba a interpretar un papel secundario pero el director, tras ver las primeras escenas rodadas, le dio el papel del gangster protagonista de la historia. Gran parte de su filmografía pertenece al género de gángsters . En 1935, deja la Warner y firma un contrato con la  Grand National, donde interpretó El gran tipo (Great Guy) y una sátira del star-system, Los peligros de la gloria (Something to Sing About). Trabaja en "Contra el imperio del crimen" (1935) de William Keighley, una adaptación de la comedia de Shakespeare, "El sueño de una noche de verano" (1935) dirigida porWilliam Dieterle y Max Reinhardt, "The Oklahoma Kid" (1939) y "The Roaring Twenties" (1939) deRaoul Walsh. 

En 1942 emprende con Yankee Doodle Dandy una nueva fase de su carrera, en la cúspide del triunfo de crítica y comercial (premiado con un Oscar ), funda la Cagney Productions, de la que su hermano William, fue presidente. Su primera producción Revuelta en la ciudad inspirado en Frank Capra, lo llevó un fracaso, más tarde emprendería una aventura similar en The Time of Your Life con éxito similar al anterior. En 1949 volvió a la Warner para Al rojo vivo que marcó la cima del ciclo de gángsteres. Billy Wilder lo dirigió en 1960 en Uno, dos, tres, en la que el sistema comunista, "el milagro económico" alemán y el arribismo yanqui son, sucesivamente, tomados como blanco de esta sátira. 

Pasarían veinte años antes de que volviese a la pantalla, en Ragtime para interpretar al prefecto de policía Rheinlander Waldo. James Cagney falleció el 30 de marzo de 1986 en Stanfordville, Nueva York.