Nasceu na cidade de Jamaica, estado de Nova York, em 1910. Começou a compor música e a escrever histórias muito cedo e, aos 17 anos, publicou alguns poemas na revista literária francesa Transition. Aos 18 iniciou suas viagens pela Europa, pelo Norte da África, México e pela América Central. Foi aluno de Aaron Copland e logo estabeleceu uma reputação de talentoso compositor. Em 1945, voltou a escrever contos e, em 1947, mudou-se para Tânger, no Marrocos, com o intuito de escrever ficção. Publicou quatro romances, uma centena de contos, um livro de poesia e ensaios de viagem. Morou em Tânger até sua morte, em novembro de 1999.