André Jolivet naît à Paris, le 8 août 1905, rue Versigny à Montmartre, fils de Madeleine Pérault (1874-1936) et de Victor-Ernest Jolivet (1869-1954). écoles fréquentées Institution de Melle Bulle, (25, rue du Poteau, Paris 18ème). école maternelle de la rue du Mont-Cenis, puis école primaire rue Sainte-Isaure (où enseignait Monsieur Farigoule, le père de Jules Romains). Dès l'âge de quatre ans, il commence le piano avec sa mère qui en joue et donne des leçons. Il travaillera ensuite le solfège et le piano avec Madame Francis Casadesus.
A l'époque de la guerre 14-18, il fait partie de l'équipe d'enfants dont Poulbot fit ses modèles. Il s'ingénie, comme lui, à dessiner des scènes populaires. Dans le même temps ont lieu les premières rencontres avec l'Abbé Théodas, maître de chapelle de Notre-Dame de Clignancourt, avec lequel il étudiera plus tard l'harmonie. Il découvre le chant liturgique, la musique de Schütz, Palestrina, Monteverdi, Bach, Mozart.

Pour la première fois il va à la Comédie-Française qu'il fréquentera, ensuite, assidûment. Sa seule ambition alors  : devenir plus tard sociétaire de la Comédie-Française.

En attendant, il se construit un théâtre avec décors et personnages en carton, écrit des pièces et des poèmes. Mettant ses poèmes en musique, il écrit sa première œuvre musicale : Romance barbare. Il entre à l'école supérieure Colbert où enseigne son oncle Charles Pérault.

Il découvre le texte de Teilhard de Chardin La puissance spirituelle de la matière (8 août) auteur qu'il retrouvera à la maturité. Il travaille la peinture avec le peintre cubiste Georges Valmier (1885-1937). Celui-ci qui est aussi chanteur et fait partie de la chorale de Paul Le Flem, aura une influence décisive sur sa carrière en présentant Jolivet à ce dernier.

Ayant abandonné le piano, il s'achète un violoncelle avec ses économies, et étudie cet instrument avec Louis Feuillard, célèbre professeur de violoncelle. Il continue de monter et d'interpréter plusieurs spectacles dramatiques.

En 1921 il est admis à l'école normale d'instituteurs d'Auteuil qu'il termine en 1924.
Il continue à pratiquer la musique.

Service militaire qu'il effectue dans la cavalerie, à Colmar et à Mulhouse.

Il débute dans l'enseignement comme instituteur des écoles de la Ville de Paris. Les questions pédagogiques l'intéresseront sa vie durant.