Mako sinh ra ở Kobe, Nhật Bản, là con trai của nhà văn và họa sĩ sách thiếu nhi nổi tiếng Taro Yashima. Cha mẹ của ông chuyển đến Hoa Kỳ khi ông còn là một đứa trẻ nhỏ. Ông gia nhập họ tại đó sau Chiến tranh thế giới thứ hai, vào năm 1949, và tham gia quân đội vào những năm 1950. Ông trở thành công dân Hoa Kỳ nhập tịch vào năm 1956. Khi Mako đầu tiên gia nhập cha mẹ của mình ở Hoa Kỳ, ông đã học kiến trúc. Trong thời gian phục vụ quân đội, ông đã phát hiện ra tài năng sân khấu của mình và được đào tạo tại Pasadena Community Playhouse. Mako đã kết hôn với nữ diễn viên Shizuko Hoshi, với người mà ông đã có hai cô con gái (cả hai đều là diễn viên) và ba đứa cháu.
