霍启刚是霍英东的嫡孙，是霍英东和大太太的孙子。霍英东有三房太太，一共生育了13个子女，大太太吕燕妮生下了三子三女，长子霍震霆就是霍启刚的父亲，人家父子俩就是标准的嫡子嫡孙。

二太太冯坚妮生下了二子一女，三太太林淑瑞生下了三个儿子。只有大房的孩子们才得到关注，其他几房的孩子一直无人问津，但这就是霍家的家规。