xAI presenta Grok, su chatbot de IA conectado a X

xAI presenta Grok, un chatbot de inteligencia artificial con acceso a información en tiempo real a través de X y una personalidad diseñada para responder con humor. La herramienta llega como una beta muy temprana y, por ahora, solo un grupo limitado de usuarios en Estados Unidos puede probarla.

Un chatbot con información de X

Grok está pensado para responder preguntas sobre casi cualquier tema, ayudar a plantear nuevas preguntas y mantener un tono más irreverente que otros asistentes. Su ventaja principal, según xAI, es que puede consultar información actualizada de la plataforma X.

Eso puede servir para seguir un acontecimiento que está ocurriendo ahora, resumir conversaciones o buscar reacciones recientes. También introduce un riesgo conocido: que el asistente convierta información incorrecta o contradictoria publicada en internet en una respuesta que parezca fiable.

xAI advierte que Grok todavía puede inventar datos. El acceso a búsquedas y a información en tiempo real no elimina ese problema, porque el sistema sigue generando respuestas prediciendo qué texto debería aparecer a continuación.

Qué hay detrás de Grok

El modelo que impulsa el chatbot se llama Grok-1. xAI afirma que lo desarrolló en cuatro meses, después de entrenar un prototipo anterior llamado Grok-0, con 33.000 millones de parámetros. Los parámetros son los valores internos que utiliza un modelo para aprender patrones del lenguaje y producir respuestas.

En las pruebas publicadas por la empresa, Grok-1 obtuvo estos resultados:

• 73% en MMLU, una prueba con preguntas de distintas materias.
• 63,2% en HumanEval, que mide la capacidad para completar código en Python.
• 62,9% en GSM8K, centrada en problemas de matemáticas escolares.
• 23,9% en MATH, con ejercicios de matemáticas de nivel medio y superior.

Con esas cifras, xAI sitúa a Grok por encima de modelos como GPT-3.5 e Inflection-1 en su categoría de recursos de entrenamiento. Sin embargo, GPT-4 obtuvo mejores resultados en las pruebas comparadas: 86,4% en MMLU, 67% en HumanEval y 42,5% en MATH.

Las cifras no son una clasificación definitiva de inteligencia. Cada prueba usa instrucciones, ejemplos y condiciones distintas, y la propia xAI reconoce que algunos de estos exámenes están publicados en internet, por lo que no puede descartar que los modelos hayan visto parte de sus contenidos durante el entrenamiento.

Una prueba fuera de los benchmarks

Para reducir ese riesgo, xAI evaluó Grok y otros modelos en el examen nacional de matemáticas de secundaria de Hungría de 2023. La prueba se publicó después de que la empresa reuniera sus datos de entrenamiento.

Grok-1 obtuvo un 59%, equivalente a una calificación C. Claude 2 logró un 55% y GPT-4 un 68%. Es un resultado más cercano a una situación real que a una demostración de laboratorio, aunque sigue midiendo solo una habilidad concreta.

Qué cambia para ti

De momento, Grok no es un servicio abierto para todo el mundo. xAI ofrece una lista de espera para un número limitado de usuarios en Estados Unidos, que pueden probar el prototipo y enviar comentarios antes de una distribución más amplia.

La propuesta combina tres elementos que ya están definiendo a los asistentes de IA:

• Respuestas generadas mediante un modelo de lenguaje.
• Búsqueda de información reciente en internet y en X.
• Una personalidad reconocible, en este caso con humor y un tono deliberadamente rebelde.

La conexión con X puede hacer que Grok sea útil para temas de actualidad, pero no convierte automáticamente sus respuestas en hechos verificados. Tendrás que revisar especialmente los datos sensibles, las noticias en desarrollo y cualquier respuesta que parezca demasiado segura.

xAI también explica que construyó su infraestructura con Kubernetes, Rust y JAX para entrenar el modelo usando miles de procesadores gráficos y reducir las interrupciones durante el proceso. La empresa ya prepara modelos con más capacidad y nuevas herramientas, pero no presenta esas mejoras como resultados disponibles todavía.

Grok marca la entrada de xAI en la competencia de asistentes conversacionales, pero su situación inicial es clara: es una beta limitada, con buenos resultados en algunas pruebas y fallos todavía posibles. Lo importante ahora será comprobar si el acceso a información reciente mejora la utilidad diaria sin aumentar la cantidad de respuestas incorrectas que parecen convincentes.