Modelos VLA: a arquitetura de IA que está ensinando robôs a entender ordens em vez de decorar tarefas

Durante décadas, ensinar um robô a fazer algo novo significou, na prática, reprogramá-lo. Cada movimento — pegar uma peça, girar um parafuso, posicionar uma caixa — precisava ser especificado por engenheiros em código ou em rotinas de controle ajustadas para aquele ambiente específico. Funcionava bem em fábricas com peças sempre no mesmo lugar, mas quebrava no instante em que algo mudava: um objeto girado alguns graus, uma prateleira reorganizada, uma instrução em linguagem natural que o sistema simplesmente não sabia interpretar.

Nos últimos dois anos, um novo tipo de modelo de inteligência artificial começou a mudar essa equação. Chamados de modelos VLA — Vision-Language-Action, ou “visão-linguagem-ação” —, eles unem em uma única rede neural a capacidade de enxergar uma cena, compreender uma instrução dada em linguagem comum e gerar diretamente os comandos motores para executá-la. Não é ficção científica nem promessa distante: projetos como o RT-2 e o RT-X do Google DeepMind, o π0 (pi-zero) da startup Physical Intelligence e o Helix da Figure AI já demonstraram, com números publicados por essas próprias organizações, que essa abordagem funciona — com limitações reais que vale a pena entender antes de qualquer euforia.

Como a robótica tradicional funciona — e onde ela trava

A robótica industrial clássica é construída sobre percepção, planejamento e controle tratados como módulos separados, cada um ajustado manualmente para uma tarefa específica. Um braço robótico que solda carrocerias de carro é extraordinariamente preciso e confiável — mas apenas para soldar carrocerias, na posição exata para a qual foi calibrado. Ensiná-lo uma tarefa nova costuma exigir reprogramação especializada, novos sensores ou um ambiente inteiro redesenhado ao redor do robô, e não o contrário.

Essa abordagem tem uma limitação estrutural: ela não generaliza. Um sistema treinado para reconhecer e manipular um conjunto fixo de objetos, em posições previsíveis, sob iluminação controlada, tende a falhar diante de qualquer variação que não estava prevista no projeto original. Como consequência, cada nova tarefa, cada novo objeto e cada novo ambiente representam, historicamente, um novo ciclo de engenharia — caro, lento e difícil de escalar.

O que muda com um modelo VLA

Um modelo VLA parte de uma premissa diferente: em vez de programar comportamentos, ele aprende comportamentos a partir de dados, do mesmo jeito que um modelo de linguagem aprende a escrever a partir de texto. A arquitetura típica começa com um VLM — um modelo de visão-linguagem já treinado em enormes volumes de imagens e texto da internet, o tipo de sistema usado para descrever fotos ou responder perguntas sobre uma cena. Esse modelo já “entende” o mundo visual e semântico de forma rica antes mesmo de tocar em um robô.

O passo seguinte é adaptar esse modelo para também produzir, além de texto, sequências de tokens que representam ações físicas — posições de juntas, comandos de garra, trajetórias de movimento. Na prática, isso significa treinar o modelo com dados adicionais de robôs em ação (frequentemente coletados por teleoperação humana), ensinando-o a mapear “o que vejo” mais “o que me pediram” diretamente para “o que devo mover”. O resultado é um sistema único, ponta a ponta, que pode receber uma instrução aberta como “arrume a mesa” e gerar o comportamento correspondente, mesmo em situações que nunca apareceram exatamente daquela forma no treinamento — porque ele herda, do lado da linguagem e da visão, um conhecimento de mundo muito mais amplo do que qualquer conjunto de dados robóticos isolado poderia oferecer.

RT-2 e RT-X: a prova de conceito do Google DeepMind

O RT-2, apresentado pelo Google DeepMind em julho de 2023, foi um dos primeiros modelos a demonstrar essa ideia em escala. Ele adapta modelos de visão-linguagem já existentes — as famílias PaLI-X e PaLM-E — para também emitir ações robóticas representadas como tokens de texto, treinados por meio de co-fine-tuning simultâneo em dados de robótica (coletados por 13 robôs ao longo de 17 meses) e em dados de escala web.

Os resultados publicados pelo DeepMind são concretos: em cenários não vistos durante o treinamento, a taxa de sucesso saltou de 32%, com o modelo anterior RT-1, para 62% com o RT-2. Em habilidades emergentes — como raciocínio do tipo “qual objeto poderia servir de martelo improvisado” ou reconhecimento de símbolos e pessoas que não faziam parte do conjunto de treino robótico —, o RT-2 apresentou mais do que o triplo de desempenho em relação a baselines anteriores.

Poucos meses depois, em outubro de 2023, o mesmo grupo publicou o RT-X, construído sobre o dataset Open X-Embodiment: uma colaboração reunindo mais de vinte instituições de pesquisa, consolidando dados de 22 tipos diferentes de robôs em mais de 1 milhão de trajetórias reais, cobrindo 527 habilidades distintas e mais de 160 mil tarefas. A ideia central era testar se um único modelo treinado nesse conjunto heterogêneo conseguiria transferir conhecimento entre robôs fisicamente diferentes. Funcionou: o RT-1-X apresentou uma melhoria média de 50% na taxa de sucesso em cinco robôs distintos testados por laboratórios parceiros, e o RT-2-X quase triplicou o desempenho do RT-2 original em avaliações de habilidades emergentes. Era a primeira evidência forte, em dados publicados, de que experiência acumulada em um robô pode beneficiar outro robô com corpo diferente — algo impensável na robótica programada tarefa por tarefa.

π0: um modelo generalista para múltiplos corpos robóticos

A Physical Intelligence, startup fundada especificamente para pesquisar “inteligência física”, anunciou o π0 (pi-zero) em outubro de 2024 como sua primeira política generalista de robótica. A arquitetura parte de um VLM pré-treinado de 3 bilhões de parâmetros e adiciona um componente que a empresa descreve como novidade técnica: flow matching, uma variante de modelos de difusão, usada para gerar comandos motores contínuos em alta frequência — até 50 vezes por segundo — em vez dos tokens discretos usados por modelos anteriores como o RT-2.

O π0 foi treinado com o dataset Open X-Embodiment somado a dados próprios coletados em oito plataformas robóticas diferentes (incluindo braços UR5e, sistemas bimanuais Trossen e ARX, e robôs móveis), totalizando, segundo o paper técnico, 903 milhões de passos de dados de treinamento. As tarefas demonstradas incluem dobrar roupas, limpar mesas, montar caixas de papelão, empacotar mantimentos e operar máquinas de café — tarefas domésticas e comerciais com alto grau de variabilidade física.

Os números de avaliação publicados pela empresa mostram uma diferença expressiva em relação a modelos anteriores de código aberto: em uma tarefa de “bussing” (recolher itens de uma mesa), o π0 atingiu taxa de sucesso de 0,97, contra 0 dos modelos OpenVLA e Octo na mesma tarefa. Em dobrar uma camiseta com um robô bimanual, o π0 chegou a 1,0 de sucesso, também contra 0 dos concorrentes testados. A própria Physical Intelligence resume o ganho da arquitetura completa, com pré-treinamento em VLM, como “mais de 2x de melhoria de desempenho” em relação a uma versão reduzida do mesmo modelo.

Helix, da Figure AI: linguagem e reflexo em tempo real

Em fevereiro de 2025, a Figure AI apresentou o Helix, um modelo VLA desenhado especificamente para controlar o corpo superior inteiro de seus robôs humanoides — 35 graus de liberdade, incluindo dedos individuais — a partir de linguagem natural. A empresa descreve o Helix como “o primeiro modelo Vision-Language-Action a controlar diretamente um corpo superior humanoide inteiro a partir de linguagem natural”.

A arquitetura é dividida deliberadamente em dois sistemas que rodam em paralelo, em frequências diferentes: um “System 2”, um VLM de 7 bilhões de parâmetros que interpreta a cena e a instrução a cerca de 7-9 Hz, e um “System 1”, uma política visuomotora menor, de 80 milhões de parâmetros, que traduz essas decisões em comandos motores reativos a 200 Hz. A separação existe porque compreender uma cena complexa e decidir o que fazer é uma tarefa que pode — e precisa — ser mais lenta e deliberada, enquanto executar e corrigir movimentos em tempo real exige velocidade que um modelo grande simplesmente não entrega. Segundo a Figure, o modelo foi treinado com aproximadamente 500 horas de dados de alta qualidade — uma fração pequena do volume normalmente usado por modelos VLA anteriores — e foi testado manipulando milhares de objetos domésticos novos, incluindo tarefas de coordenação entre dois robôs, como passar itens de um para o outro e operar gavetas e refrigeradores.

Os limites reais do estado da arte

Nenhum desses projetos afirma ter resolvido a robótica generalista, e vale a pena tratar os números acima com o mesmo rigor com que foram obtidos. O primeiro limite é a tensão entre compreensão e velocidade: um VLM grande, capaz de entender cenas complexas e instruções abertas, é computacionalmente pesado e tende a ser lento demais para controle físico em tempo real. É exatamente esse problema que motivou soluções distintas em cada projeto — o flow matching do π0 para gerar ações contínuas em alta frequência, e a arquitetura de dois sistemas do Helix para separar “pensar” de “agir”. Isso mostra que a indústria ainda está resolvendo, caso a caso, como equilibrar inteligência e reflexo em um único robô.

O segundo limite é a dependência de dados de demonstração, frequentemente coletados por teleoperação humana — um processo caro e lento de escalar. O próprio racional por trás do Open X-Embodiment era justamente esse: nenhum laboratório isolado tinha dados suficientes, e por isso mais de vinte instituições precisaram somar seus conjuntos de dados apenas para atingir a diversidade necessária. O paper do π0 reconhece explicitamente que tarefas com configuração inicial aleatória continuam sendo um “desafio importante”, já que a política precisa generalizar para qualquer arranjo possível dos objetos — o que os números publicados, embora impressionantes em relação aos concorrentes testados, ainda não resolvem por completo.

Por fim, há um limite de transparência que o público deveria observar com atenção: nenhuma das três organizações citadas neste artigo publicou, nos materiais analisados aqui, métricas públicas e padronizadas de segurança física para operação desses robôs em ambientes não controlados, fora de laboratório ou de demonstrações filmadas. Isso não significa que essas questões estejam sendo ignoradas internamente, mas significa que, do ponto de vista de quem acompanha o campo de fora, ainda não existe um padrão aberto de avaliação de segurança comparável ao rigor com que as taxas de sucesso em tarefas são divulgadas.

Um paradigma novo, ainda em construção

O que RT-2, RT-X, π0 e Helix têm em comum não é terem “resolvido” a robótica, mas terem mudado a pergunta que a área está fazendo. Em vez de perguntar “como programo este robô para esta tarefa específica”, os modelos VLA perguntam “como ensino um robô a entender o que quero e generalizar a partir disso” — a mesma virada que os modelos de linguagem provocaram na década anterior, agora aplicada a corpos físicos que precisam, literalmente, não errar o movimento.

Os números publicados por essas equipes são reais e verificáveis, mas vieram de ambientes de avaliação controlados pelas próprias empresas, com tarefas e métricas escolhidas por elas. Isso não os torna inválidos — é assim que praticamente todo avanço em IA é anunciado inicialmente —, mas é motivo suficiente para acompanhar com atenção os próximos passos: replicação independente, testes em ambientes não controlados pelos próprios criadores e, sobretudo, dados públicos sobre segurança física à medida que esses robôs saem do laboratório e entram em armazéns, casas e espaços compartilhados com pessoas.

Fontes citadas neste artigo: