Por volta de 1900, um rico homem chamado Dr. Otto, vivia em Key West, e lá com ele moravam diversos servos (escravos) que ele trouxera das Bahamas. No que muitos especulam ter sido um ato de vingança, um servo boêmio deu a Robert Eugene Otto (filho do Dr. Otto) um boneco feito de barbantes, pano, cabos, palha e, algo como, uma pedra-de-alma (possivelmente a do filho do servo que morrera a pouco tempo). Essa prática em meio de voodoo requer um pequeno cristal do apego pessoal de alguém enquanto vivo, que, colocado no objeto de desejo, após a morte do dono do cristal, se torna uma espécie de vaso e ganha uma alma própria. A irmã de Eugene morreu por volta do tempo em que ele ganhou o boneco. Eugene deu a Robert o Boneco seu nome de Robert, e fez com que todos o chamassem de Eugene (Gene). Através de sua infância, toda vez que algo ruim acontecia e a culpa recaía sobre Eugene, ele dizia que Robert havia feito isso.
Mais preocupantes ainda foram os eventos que se seguiram - Taças e talheres sendo atiradas na sala de jantar, servos escondidos durante seus turnos da noite enquanto ouviam barulho onde roupas que eram rasgadas e papeis que eram amassados e jogados no chão em aposentos esquecidos da casa. Brinquedos queridos de Eugene que começaram a aparecem multilados e brutalizados quando no profundo da noite se ouvia uma fina risada. Eugene podia quase sempre ser ouvido de seu quarto de brinquedos enquanto brincava e após um momento de silêncio solene, o burburinho baixo de conversa soava até os ouvidos dos servos, primeiro na voz de menino de Eugene, e, logo depois, em uma voz de tom totalmente diferente.
As vezes a voz de Eugene soava agitada, mas a voz em resposta só parecia insistente, e eram esses momentos que preocupavam os servos e depois a Sra. Otto. Nessa ocasião em específico, a mãe preocupada ia até seu filho, e, ao abrir a porta do quarto de brinquedos, o encontrava em um canto da sala, enquanto Robert o Boneco estava em alguma cadeira ou na cama, parecendo olhar para o menino. Eugene manteve uma relação próxima com Robert até ele sair para estudar artes em Paris, onde ele encontraria sua futura esposa Anne.
Logo se casaram e se mudaram para sua casa em Key West, tal conhecida como "A casa do Artista". Eugene contratou pedreiros para construírem um quarto no tamanho de Robert feito no terceiro andar de sua casa no estilo vitoriano, e tinha até mobília, teto rebaixado e tudo mais. O casamento foi um desastre desde o começo porque Eugene insistia que o boneco os acompanhasse para todo lugar, até mesmo na sala de jantar ou no quarto na noite de núpcias. Crianças vindo da escola para casa (muitas dessas entrevistadas, sempre com os mesmos resultados) diziam ver Robert se mover pela casa nos andares de cima, de um quarto para outro e de um andar para outro pelas escadas. Conforme Eugene envelhecia, foi ficando extremamente abusivo com Anne, sendo descoberto depois que ela chegou a ser trancada diversas vezes no cubículo debaixo da escadaria várias vezes ao dia. Após a morte e enterro de Eugene no cemitério Key West, Anne foi para casa de sua família em Boston e colocou sua casa para alugar.
Quando Anne saiu, ela deixou Robert trancado em seu quarto no andar de cima e colocou nos termos de contrato de que não importasse o que ocorresse, o ele seria o único a ocupar aquele quarto, ou o contrato seria quebrado. Permaneceu-se assim até sua morte em 1976. Os primeiros novos registros de atividade foram de um encanador contratado para fazer uns reparos. O encanador disse:
"Estava fazendo meu trabalho na parte de cima da casa. O novo pessoal queria fazer um quarto novo e eu estava passando os canos para um novo banheiro. O boneco era muito assustador, sentado lá, na sua pequena cadeira, segurando seu bicho de pelúcia, mas eu tinha que fazer meu trabalho porque bem, era meu trabalho, então tentei não pensar muito nele. No andamento de meu trabalho tive que descer na minha van algumas vezes para pegar peças ou ferramentas, e posso jurar que cada vez que eu voltava a posição do boneco havia mudado. Eu ia terminar meu serviço quando fui descendo as escadas e ouvi uma risada infantil atrás de mim. Quando me virei, o boneco estava do outro lado do quarto. A primeira coisa foi procurar por uma criança no quarto, mas não havia mais ninguém. Não muito apavorado, mas ainda assim julgando o fato estranho demais, terminei de descer e fui embora. Provavelmente algumas ferramentas minhas ainda estão lá."
Futuros ocupantes da casa registraram ter escutado barulhos vindo de cima incluindo passos, risadas e batidas, e, sob inspeção, descobriam que Robert havia saído de seu lugar de onde haviam o deixado. Com o tempo, geralmente ele só cruzava os braços, ia de lado para outro lado da sala ou dobrava as pernas, ou se mudava de cadeira para cadeira. Os moradores ficaram tão perturbados que o trancaram em um baú, mas mantendo-se ao contrato, deixaram o baú no seu quarto, sozinho. Mas isso não deu fim aos surtos. Robert saiu do baú e era encontrado cada vez em um lugar diferente, de maneira mais perturbadora e assustadora, e quando foi encontrado rindo e segurando uma faca de cozinha do lado da cama do novo dono da casa, não havia nenhum Eugene para ser culpado. Os moradores foram embora e Robert o Boneco assombrado foi para sua nova casa no Museu East Martello em Key west, onde está bem seguro.
Após longos anos, Robert foi finalmente redescoberto no estoque do Museu East Martello, e sob demanda popular, foi posto para exposição. Muitas pessoas especulavam que Robert havia perdido energia após ficar trancado tanto tempo, entretanto, agora novamente em contato com humanos, ele estava drenando energia. Talvez também conte os três ou quatro marca-passos que pararam na sua frente, registros de pilhas recém compradas para câmeras morrendo na sua frente, e de até mesmo máquinas que pararam de funcionar na sua frente (as autoridades do Museu gastaram 6 rolos de filme e muitas pilhas e só conseguiram uma meia dúzia de fotos para divulgação). Curadores do Museu reportaram terem visto Robert mudar de posição durante a noite, mesmo estando atrás de uma jaula de vidro, dentro de um Museu de tijolos bloqueado por três portas de madeira e barras de ferro em toda e qualquer janela. Pessoas que vão ver Robert também contam pasmas terem visto suas expressões faciais mudarem diante de seus olhos.
