Sebenarnya, Grover-Williams merupakan seorang pembalap yang lahir di Montrouge, Hauts-de-Seine, Prancis. Namun, dia dianggap pahlawan Inggris, darah yang berasal dari ayahnya, Frederick Grove.

Ketika berusia 11 tahun, Grover-Williams sempat diungsikan ke Hertfordshire, Inggris setelah terjadi Perang Dunia I.

Setelah itu, dia memutuskan untuk pindah ke Monte Carlo bersama keluarganya. Sejak saat itu, Grover-Williams sudah mulai menyukai dunia balap.

Grover-Williams pertama kali belajar mengendarai mobil Rolls-Royce dan langsung mendapatkan surat izin mengemudi di Monaco.

Sebelumnya, dia sempat berkarier di ajang balap motor pada era 1920-an. Selama enam tahun, Grover-Williams sempat berkarier di dunia balap motor.