Dünyanın bütün digər xalqlarının onlardan törədiyinə inanılır. Onlar sivilizasiyadan uzaqda yaşayırlar, Şimali Cənubi Afrikada və Cənubi Namibiyada torpaqlar tuturlar.
Xoy-xoylar bir vaxtlar bütün Cənubi Afrikada yaşayırdılar və çoxsaylı qəbilə idilər. Bir neçə əsr əvvəl şimalda Bantu qəbilələri, cənubda isə avropalılar tərəfindən qovuldular. Xoy-xoylar Afrikanın daha quru bölgələrinə çəkilməyə məcbur oldular və bu günə qədər orada yaşayırlar.
Onlar təxminən eramızın 1500-cü ilində Avropa müstəmləkəçiləri və tacirləri ilə təmasa girən ilk afrikalılar idilər. İlk qeydə alınmış qarşılaşma 1488-ci ilin fevral ayında, Portuqaliyalı səyyah Bartolomeu Diasın Mossel Körfəzinə enişi zamanı baş verdi. Mübahisə baş verdi və bundan sonra Xoy-xoylar geri çəkildi. Daha sonra avropalılar və yerlilər arasında bir sıra hərbi toqquşmalar baş verdi və nəticədə torpaqlarının çox hissəsi itirildi. Müharibə ilə yanaşı, avropalılar çiçək xəstəliyi də gətirdilər və bu xəstəlik Xoy-xoyları demək olar ki, dünyanın etnik xəritələrindən sildi.
İlk avropalılar Xoy-xoylar haqqında heç nə bilmirdilər. Danışdıqları dil avropalıların tələffüz etməkdə çətinlik çəkdiyi səslərlə dolu idi. Bu dil meymun nitqinə bənzəyirdi, buna görə də avropalılar Xoy-xoyları insanlarla meymunlar arasında təkamül yolu hesab etməyə başladılar. Yerli əhalinin ritual rəqsləri zamanı istifadə etdikləri sözlərdən biri "Hottentotlar" kimi səslənirdi. Nəticədə, avropalılar qəbiləni "Hottentotlar" adlandırmağa başladılar. Qəbilənin özləri bu sözü təhqir hesab edirdilər, ona görə də etnik təyinatları kimi "Xoyxoy" etnonimindən istifadə etdilər.