Anthropic, la empresa de IA creada por antiguos investigadores de OpenAI, ha presentado su chatbot actualizado, Claude 2, que se enfrenta a rivales como ChatGPT y Google Bard.
Cinco meses después del debut de Claude, su sucesor ofrece respuestas más largas, un razonamiento más matizado y un rendimiento superior, con una puntuación impresionante en los exámenes GRE de lectura y escritura.
Claude 2 se ha caracterizado por ser una potente IA capaz de digerir hasta 100.000 tokens, aproximadamente el equivalente a 75.000 palabras, en una sola pregunta. Se trata de un salto espectacular con respecto al anterior límite de 9.000 tokens de Claude, que presenta una ventaja única: la capacidad de la IA para proporcionar respuestas de una manera más contextual y mejorada.
El nuevo modelo ha logrado avances significativos en múltiples campos, como el derecho, las matemáticas y la codificación, evaluados mediante pruebas estandarizadas. Según Anthropic, Claude 2 obtuvo un 76,5% en la sección de opción múltiple del examen de abogacía (GPT-3.5 logró un 50,3%) y alcanzó una puntuación superior al 90% de los aspirantes a licenciatura en los exámenes GRE de lectura y escritura. Claude 2 también obtuvo un 71,2% en la prueba de codificación Codex HumanEval Python y un 88,0% en los problemas matemáticos de primaria GSM8k, lo que pone de manifiesto sus avanzadas capacidades de cálculo.
Como informa TCN, el Claude de Anthropic está diseñado con una «constitución» única, un conjunto de reglas inspiradas en la Declaración Universal de los Derechos Humanos, que le permite mejorar sin necesidad de intervención humana, identificar comportamientos inadecuados y adaptar su propia conducta.
Pero, ¿cómo se compara con los dos monarcas de la colina, ChatGPT y el nuevo Bard de Google? Empecemos por las especificaciones.
Precio:
- ChatGPT: Gratuito para quienes utilicen la versión GPT-3.5. Los que quieran utilizar la versión más potente que ejecuta GPT-4 tendrán que pagar 20 dólares al mes por la versión ChatGPT Plus.
- Claude: Gratis
- Bard: Gratis
Disponibilidad:
- ChatGPT: Es el más disponible de los tres.
- Bard: Está disponible en menos países que ChatGPT.
- Claude: Disponible temporalmente en EE.UU. y Reino Unido.
Privacidad:
- ChatGPT: Permite a los usuarios borrar sus interacciones. No admite la navegación a través de VPN.
- Bard: Tiene una opción para borrar automáticamente las interacciones en 18 meses. No permite a los usuarios recuperar interacciones anteriores. Admite VPN, lo que hace que esté disponible virtualmente en cualquier parte del mundo, saltándose las restricciones políticas.
- Claude: Permite a los usuarios borrar sus conversaciones. Admite navegación VPN.
Idiomas soportados:
- ChatGPT: Compatible con más de 80 idiomas.
- Bard: Compatible con inglés, japonés y coreano.
- Claude: Admite varios idiomas muy extendidos, como inglés, español, portugués, francés, mandarín y alemán, entre otros. Si no reconoce un idioma (o la entrada tiene muchos errores gramaticales) proporciona una frase introductoria y luego responde en inglés.
Manejo del contexto:
- ChatGPT: La versión gratuita soporta 7.096 tokens de contexto, ChatGPT Plus (GPT-4) soporta 8.192 tokens. OpenAI ofrece una versión que soporta 32K tokens, pero no es utilizada por ChatGPT.
- Bard: Soporta 8.196 tokens de contexto.
- Claude: Soporta 100.000 tokens de contexto -no es una errata.
Características:
- ChatGPT: La versión gratuita no tiene funciones adicionales. GPT Plus ofrece una tienda de plugins, un intérprete de código y una función de navegación web con pausa temporal impulsada por Microsoft Bing. Ofrece compatibilidad con API.
- Bard: El chatbot está todavía en fase experimental, pero tendrá una tienda de plugins e integración con Google Suite. Proporciona acceso limitado a su API.
- Claude: El chatbot puede añadirse a Slack y gestionar diferentes tareas como resumir hilos, proporcionar sugerencias, lluvia de ideas, etc. Es compatible con la API.
La batalla de los prompts: ChatGPT vs Bard vs Claude
TCN utilizó el mismo prompt para comparar los resultados obtenidos por los tres chatbots.
Comprensión de lenguas extranjeras
En primer lugar, preguntamos por el significado de una frase común de la jerga española. Claude demostró ser más cuidadoso y preciso con su explicación, ChatGPT proporcionó una explicación bastante buena, pero Bard se negó a responder, argumentando que no sabía hablar español. Sin embargo, cuando cambiamos la pregunta de «¿qué significa esto?» a «¿cuál es su equivalente en inglés?», la respuesta fue mejor que la de ChatGPT, aunque menos extensa que la de Claude AI.
Respuesta de Claude 2.
Respuesta proporcionada por ChatGPT.
Respuesta proporcionada por Google Bard.
Información actualizada
A continuación, preguntamos a los modelos por el precio actual del Bitcoin. Esto no sólo pone a prueba las funciones de navegación web, sino que también mide la cantidad de información que proporciona cada uno basándose en un único pedido.
ChatGPT falló. No está conectado a Internet, por lo que no puede proporcionar información actualizada. Claude tampoco tiene conexión a Internet. Sin embargo, a diferencia de ChatGPT, alucinó con una respuesta con información incorrecta. Si un usuario preguntara algo suponiendo que Claude tiene conexión a Internet, recibiría una respuesta errónea que aparecería como correcta. Google Bard proporcionó la información correcta.
Respuesta proporcionada por ChatGPT.
Respuesta proporcionada por Claude 2.
Respuesta proporcionada por Google Bard.
Manejo del contexto
A continuación, pusimos a prueba la capacidad de los modelos para manejar grandes fragmentos de texto. Utilizamos la Biblia como ejemplo y copiamos todo el texto desde Génesis 1:1 hasta Éxodo 25:39 (casi 62.000 palabras). A continuación, formulamos una pregunta muy concreta a partir de la historia proporcionada en el texto.
El único modelo capaz de responder fue Claude, como era de esperar. Tardó unos 2 minutos en procesar la pregunta, pero dio una respuesta precisa. Utilizamos marcadores específicos para asegurarnos de que no hacía trampas y analizaba el texto, y demostró estar a la altura.
Respuesta proporcionada por Claude 2.
Habilidades no verbales
Por último, pedimos a los modelos que realizaran algunas tareas matemáticas. Los LLM de IA no están realmente diseñados para hacer esto, y ChatGPT Plus con GPT-4 es probablemente la mejor opción entre los tres con su intérprete de código. Sin embargo, probamos los tres modelos y les pedimos que crearan un plan de pagos para una persona que intenta saldar sus deudas de tarjetas de crédito. También pedimos a los modelos que clasificaran qué tarjetas debían utilizarse y cuáles debían evitarse.
Claude proporcionó las respuestas más completas en cuanto al plan. Sin embargo, cometió un error y nos recomendó priorizar el gasto en la tarjeta con la TAE más alta.
Respuesta proporcionada por Claude 2.
El intérprete de código de ChatGPT proporcionó una respuesta en la que pagamos de más por una de las tarjetas, lo que no es realmente útil si alguien tiene deudas en otras tarjetas.
Respuesta proporcionada por ChatGPT mediante el intérprete de código.
GPT 3.5 no proporcionaba resultados precisos, pidiéndonos que pagásemos más dinero del que realmente teníamos disponible.
Respuesta proporcionada por ChatGPT.
Bard era bastante genérico. Fue por el camino seguro y no proporcionó ninguna cifra, describiendo básicamente lo que se conoce como el método de la avalancha de deuda.
Respuesta proporcionada por Google Bard.
Fortalezas y debilidades
Claude 2:
- Fuertalezas: Claude 2 tiene una impresionante capacidad para manejar grandes contextos de hasta 100.000 fichas. Presenta un rendimiento superior en diversos campos, como el derecho, las matemáticas y la codificación, y ostenta altas puntuaciones en pruebas estandarizadas. Es capaz de mejorar y adaptarse sin necesidad de intervención humana, y admite la navegación VPN. El chatbot también puede añadirse a Slack para gestionar tareas y es compatible con API.
Puntos débiles: Temporalmente solo está disponible en Estados Unidos y Reino Unido. Claude 2 carece de conexión a Internet y puede proporcionar información incorrecta si se le pregunta por datos actuales del mundo real. Puede cometer errores en tareas complejas y sonar muy convincente al respecto.
ChatGPT:
- Puntos fuertes: ChatGPT es el modelo más extendido de los tres, ya que admite más de 80 idiomas. También ofrece compatibilidad con API y una tienda de plugins en la versión ChatGPT Plus.
Puntos débiles: Tiene capacidades limitadas de manejo de contexto en comparación con Claude 2. La versión gratuita no ofrece funciones adicionales y es mucho más limitada y de menor calidad que la versión de pago. Su función de navegación web se detiene temporalmente y no puede proporcionar datos en tiempo real. En algunas tareas complejas, puede generar resultados inadecuados.
Bardo de Google:
- Fuertalezas: Bard es compatible con la navegación VPN. Puede proporcionar datos en tiempo real gracias a su conexión a Internet. Bard también planea integrarse con Google Suite y ofrecer una tienda de plugins.
Debilidades: Bard es compatible con menos idiomas que ChatGPT. Su acceso a la API es limitado y sus capacidades de gestión de contextos son inferiores a Claude 2. Las respuestas de Bard pueden ser genéricas y poco útiles en algunas tareas complejas, lo cual es un compromiso razonable si el usuario quiere reducir el riesgo de alucinaciones.
Conclusión
Ahora que el campo de los LLM de IA y los chatbots tiene más opciones disponibles, uno no tiene que convertirse necesariamente en un fanboy de ChatGPT o entrar en el campo exclusivo de Google.
Si no te atreves a pagar 20 dólares por ChatGPT Plus, plantéate utilizar Claude. Ofrece una funcionalidad comparable a GPT-4, y probablemente producirá resultados superiores a GPT-3.5 que es la versión disponible en el ChatGPT gratuito – y será una mejor opción que Google Bard para la mayoría de los usuarios. Una característica adicional de Claude es su capacidad para analizar archivos PDF y archivos con muchas extensiones. Basta con arrastrar y soltar los archivos en el programa, de forma similar a los plugins de pago disponibles en la suscripción GPT Plus. Así que, antes de decidirte a pagar por ChatGPT 4, puede que quieras darle una oportunidad a Claude. Potencialmente podría ahorrarte algo de dinero.
Sin embargo, cada opción tiene puntos fuertes y débiles que hacen que cada bot sea más atractivo para necesidades específicas. Claude maneja grandes cantidades de datos, pero puede no ser la mejor opción para tareas que requieren datos en tiempo real. ChatGPT es más creativo, lo que es perfecto para tareas que requieren soporte de idiomas específicos (y su tienda de plugins es realmente buena si estás dispuesto a pagar el precio). Por otro lado, Bard es más objetivo, preciso y aprovecha su conectividad a Internet, pero puede que no sea el mejor para tareas creativas.
En definitiva, ¿por qué elegir uno? No hace falta que decidas cuál es mejor: puedes usarlos todos.
