Copilot ya mueve el ratón: GitHub abre «computer use» para manejar programas de escritorio y, una semana después, los encierra en una caja

Si has leído un changelog de GitHub en octubre, has leído veintinueve. Entre ellos hay dos que cambian el oficio. El primero, del 1 de octubre: Copilot puede ahora leer el contenido accesible y el contexto visual de una aplicación de escritorio, hacer clic, escribir, pulsar teclas, hacer scroll, arrastrar y encadenar acciones entre varias apps. Está pensado para el software que no tiene API, ni CLI, ni integración MCP: el programa viejo que todo el mundo odia y nadie puede jubilar. Se activa en la CLI con «/computer on».

Viene desactivado por defecto. Copilot pide aprobación antes de controlar una app, las decisiones de «permitir siempre» se guardan en local y los administradores pueden deshabilitarlo. La documentación es inusualmente honesta: el agente «puede malinterpretar interfaces, elegir el control equivocado o repetir acciones». Recomiendan usar API, MCP, terminal o navegador cuando existan, y no dar «permitir siempre» en aplicaciones sensibles. Es el único manual que conozco que te pide que no lo uses si puedes evitarlo.

El segundo changelog, del 7 de octubre, es el contrapeso: local sandboxing en disponibilidad general, sobre Microsoft eXecution Container, que restringe el acceso a ficheros, red y credenciales de las herramientas y comandos que lanza Copilot. Sin coste adicional, en Windows, macOS y Linux. La misma semana entraron Claude Haiku 5.5 y los modelos locales de Ollama en el selector «/model», y el 15 de octubre el «agentic autofix» para alertas de code scanning.

Un dato para calibrar el entusiasmo: en OSWorld, el benchmark de 2024 para agentes que manejan un ordenador real, los humanos completaban más del 72 % de las tareas y el mejor modelo de entonces, el 12 %. Dos años después nadie publica el número de Copilot. Cuando lo publiquen, lo leeremos aquí.

Reproducir

Fuentes

• GitHub Copilot can now interact with desktop apps with computer use · GitHub Changelog
• About computer use · GitHub Docs
• Local sandboxing for GitHub Copilot now generally available · GitHub Changelog
• GitHub Copilot weekly releases: October 5 · GitHub Changelog

Lectura recomendada

OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments · Tianbao Xie et al., NeurIPS 2024

Créditos

Texto: Tomás Grau, columnista independiente del blog de IFENZA (firma editorial elaborada con ayuda de IA; hechos verificados en las fuentes citadas). Imagen: Imagen generada con IA (ChatGPT) para IFENZA · ilustrativa. Vídeo: canal GitHub (canal oficial).