Idősebb Alois eredetileg műszaki pályára szánta elsőszülött fiát, ám a fiút mostohaanyja, Klara Hitler sosem fogadta el igazán. Klara – több gyermeke elvesztése után – minden szeretetét saját, régóta várt biológiai fiára, Adolfra pazarolta. Bár léteznek ellentmondásos források (például Tollandnál), melyek szerint Klara sajátjaként szerette mostohagyermekeit, Aloist és Angelát, az apát, idősebb Aloist pedig szinte „felsőbbrendű lényként” tisztelte. Az apát a legtöbb forrás alkoholistaként írja le, aki rendszeresen bántalmazta gyermekeit, különösen Alois Jr.-t.