Rafael est né à La Havane entre 1865 et 1868. Il a connu l’existence misérable des jeunes esclaves qui exerçaient des petits métiers sur le port : portefaix, grooms, vendeurs de pacotille, etc. L’esclavage n’ayant été aboli à Cuba qu’au milieu des années 1880, les liens avec l’Afrique ont été plus durables que dans beaucoup d’autres parties de l’Amérique. Rafael a baigné dès sa naissance dans une culture afro-cubaine dominée par la musique et la danse. Le 6 janvier, jour de la fête des Rois, les esclaves prenaient possession de la ville au cours des festivités du carnaval, comme le montre cette estampe de Frederic Mialhe. Vendu à Patricio del Castaño un riche colon espagnol, Rafael a été ensuite valet de ferme dans un village basque, avant de travailler comme manœuvre sur le port de Bilbao.