Aage Brandt er født i Lyngby nord for København i 1944. Der er han også vokset op på hovedgaden, hvor familien boede i en lejlighed oven over forældrenes fiskeforretning. Selv om de voksne arbejdede fra tidlig morgen og til sen aften, var de alligevel i nærheden, når der var brug for det. Skolegangen foregik på Engelsborgskolen, som også er beskrevet i ungdomsromanen Skærsommer. Aage Brandt er praktiserende læge i Jelling, hvor han tillige er ansat som skolelæge.
Efter endt uddannelse skulle Aage Brandt i 1971 aftjene sin værnepligt, men da han altid har været og stadigvæk er imod alle former for militær, blev han militærnægter.
I den periode arbejdede han en tid på en privatskole for 6-8 adfærdsvanskelige drenge på Christianshavn. Drengene var småkriminelle, voldelige og opgivet på de normale skoler. Gennem arbejdet og samværet med drengene opstod der en dyb respekt for og en solidaritet med disse "skæve" skæbner.
Nok hørte drengene til de værste rødder i København, men de bar samtidig rundt på et stort råb om kærlighed. Hovedpersonen Jønne i Drømme fra en jukebox har Aage Brandt således hentet ideer til fra den tid.
Disse drenge med store tilpasningsvanskeligheder har sammen med Aage Brandts egne børn og erindringer fra barndommen leveret både inspiration og råstof til en stor del af forfatterskabet.