O “olho robótico” chinês que muda como máquinas veem e entendem o mundo

EyeVLA une visão, linguagem e ação para permitir que robôs decidam onde olhar e com que precisão — aproximando a percepção artificial do olhar humano

O que é e por que importa

Cientistas da Shanghai Jiao Tong University e da Academia Chinesa de Ciências desenvolveram o EyeVLA, um “olho artificial” para robôs com inteligência embarcada. Diferente de câmeras fixas que capturam apenas uma visão estática, o EyeVLA gira, ajusta o zoom e seleciona onde mirar com base em instruções — replicando, de modo ativo, a forma humana de explorar visualmente um ambiente.

O problema antigo da visão robótica

Sistemas tradicionais usam câmeras fixas (RGB-D) que tentam capturar cor e profundidade, mas falham em conciliar visão ampla e detalhes finos ao mesmo tempo — uma limitação clássica em robótica visual.
Por isso, tarefas que exigem precisão — como verificar se um pequeno botão está desligado — são especialmente difíceis: o “raciocínio” da IA pode estar pronto antes da percepção conseguir ver o detalhe necessário.

Como o EyeVLA resolve isso: visão ativa e inteligente

• EyeVLA combina visão, linguagem e controle da câmera (pan, tilt e zoom) num mesmo fluxo de decisão — ou seja: o sistema decide o que ver a seguir com base no que já viu e no que precisa fazer.
• A câmera gira e aproxima automaticamente conforme a tarefa exige, guiada por “tokens de ação” discretos — cada movimento traduzido em comandos como “mova para a esquerda”, “suba”, “aumente o zoom”.
• Por meio de uma arquitetura de IA que une processamento visual e linguagem, EyeVLA entende o contexto e orientação textual e age conforme instruções, permitindo aos robôs focar detalhes sem perder o contexto geral da cena.

Resultados promissores — e desafios que restam

Nos testes, EyeVLA atingiu 96% de conclusão de tarefas solicitadas — como identificar objetos pequenos ou parcialmente ocultos — com precisão elevada (erro médio de ~2° na rotação). Isso demonstra capacidade robusta de perceber detalhes mesmo em cenários complexos.
Mas nem tudo é perfeito: há desafios práticos como a demanda computacional elevada e limitações no hardware de câmeras, que ainda dificultam aplicações em tempo real e rodam risco de atrasos e lentidão.

Gostou? Compartilhe com quem precisa saber: