Schon als Kleinkind war Charles längere Zeit ohne Vater, der auf Malta stationiert war; er wurde überwiegend von einem Kindermädchen betreut. Begegnungen mit seiner Mutter blieben zeitweise frostig: Berichten zufolge erkannte er sie einmal nicht im Gang. Das Internat brachte weitere Härten: eisige Nächte, strenge Regeln, kurze Hosen bei Kälte und auch der Einsatz des Rohrstocks werden geschildert.
In der Schule litt der junge Prinz unter Spott: Der Spitzname "Plumpudding" und regelmäßige Hänseleien gehören zu den Berichten. Er schrieb einmal nach Hause, es sei "die absolute Hölle"; nächtliche Ruhestörungen und Übergriffe durch Mitschüler werden ebenfalls genannt. Diese Schilderungen zeichnen das Bild einer Kindheit, die trotz des späteren Throns von Entbehrungen geprägt war.