Uma equipe da Universidade de Tóquio revelou o Alter3, um robô humanóide que pode realizar movimentos usando o Large Language Model (LLM) GPT-4. Alter3 usa a ferramenta mais recente IA aberta para assumir dinamicamente diferentes poses, desde uma pose de selfie até fantasmas, tudo sem a necessidade de entradas pré-programadas no banco de dados.
“A resposta do Alter3 ao conteúdo conversacional usando expressões faciais e gestos é um avanço significativo na robótica humanóide que é facilmente adaptável a outros andróides com alterações mínimas”, disseram os pesquisadores.
No campo da integração LLM com robôs, o foco está na melhoria da comunicação básica e na modelagem de respostas realistas. Os pesquisadores também estão investigando as capacidades do LLM para permitir que os robôs entendam e executem instruções complexas, aumentando assim sua funcionalidade.
Tradicionalmente, a gestão de baixo nível robôs está vinculado ao hardware e está fora do alcance das corporações LLM. Isto cria dificuldades para a gestão direta de obras baseadas no LLM. Resolvendo esse problema, a equipe japonesa desenvolveu um método para converter expressões de movimentos humanos em código compreensível para Android. Isso significa que o robô pode gerar sequências de ações de forma independente ao longo do tempo, sem a necessidade dos desenvolvedores programarem individualmente cada parte do corpo.
Durante a interação, uma pessoa pode dar comandos ao Alter3 como “Tire uma selfie com seu iPhone”. Posteriormente, o robô inicia uma série de solicitações ao GPT-4 para obter orientação sobre as etapas necessárias. GPT-4 traduzirá isso em código Python que permitirá ao trabalho “entender” e realizar os movimentos necessários. Esta inovação permite que Alter3 mova a parte superior do corpo enquanto a parte inferior permanece estacionária, presa ao suporte.
Alter3 é a terceira iteração da série de robôs humanóides da Alter desde 2016, ostentando 43 atuadores responsáveis por expressões faciais e movimentos de membros movidos por ar comprimido. Esta configuração oferece uma ampla gama de gestos expressivos. O robô não consegue andar, mas pode imitar movimentos típicos de caminhada e corrida.
Alter3 também demonstrou a capacidade de copiar poses humanas usando a câmera e a estrutura OpenPose. O robô ajusta suas articulações às posturas observadas e salva imitações bem-sucedidas para uso posterior. A interação com um humano levou a posturas mais variadas, apoiando a ideia de que diferentes movimentos surgem da imitação do humano, semelhante à forma como os recém-nascidos aprendem através da imitação.
Antes do LLM, os pesquisadores tinham que controlar cuidadosamente todos os 43 atuadores para recriar a pose de uma pessoa ou simular um comportamento, como servir chá ou jogar xadrez. Isso exigiu vários ajustes manuais, mas IA ajudou a libertar a equipe dessa rotina. “Esperamos que o Alter3 se envolva efetivamente no diálogo, exibindo expressões faciais e gestos relevantes ao contexto. Demonstrou a capacidade de espelhar emoções, por exemplo, de mostrar tristeza ou felicidade em resposta, partilhando assim emoções connosco", afirmam os investigadores.
Leia também: