Xavier Samuel sinh ra ở Hamilton, Victoria, là con trai của Maree và Clifford Samuel. Anh lớn lên ở Adelaide, Nam Úc và tốt nghiệp trường Rostrevor College vào năm 2001. Anh có một em trai, Benedict, là một nhà văn, nhà sản xuất và diễn viên, cũng như một chị gái lớn hơn, Bridget, là một nhà quản lý sân khấu. Mặc dù đã hoàn thành năm thứ hai tại trường Rostrevor College, Samuel đã tham gia năm cuối về kịch nghệ tại trường Christian Brothers College dưới sự hướng dẫn của Amanda Portus, nơi anh đã đóng vai Tom Snout (bức tường) trong sản phẩm của trường Rostrevor College về vở "A Midsummer Night's Dream" của Shakespeare, cũng như đóng vai "Belvile" trong sản phẩm của CBC về vở "The Rover" (The Banished Cavaliers) của Aphra Behn. Sau đó, Xavier Samuel theo học tại Trung tâm Kịch nghệ Đại học Flinders vào năm 2005, nơi anh học dưới sự giảng dạy của giáo sư Julie Holledge, một giáo viên diễn xuất nổi tiếng. Anh đã đóng vai Hamlet trong sản phẩm tốt nghiệp.
