Đầu tháng 5/1932, Paul Doumer bị ám sát, Hoàng Thị Thế mất đi người cha đỡ đầu, người che chở chính yếu. Đầu năm 1940, bà ly hôn với Robert Bourgès và bị đuổi ra khỏi nhà chồng.