Llevo tanto tiempo rodeado de tecnología que muy poco me emociona y menos aún me sorprende. Pero poco después del lanzamiento de ChatGPT de Open AI, le pedí que escribiera un complemento de WordPress para el sitio de comercio electrónico de mi esposa. Cuando lo hizo y el complemento funcionó, realmente me sorprendí. Ese fue el comienzo de mi exploración profunda de los chatbots y la programación asistida por IA. Desde entonces, he sometido 10 modelos de máquinas grandes (LLM) a cuatro pruebas del mundo real. Cómo utilizar ChatGPT para escribir: Currículums | Fórmulas de Excel | Ensayos | Cartas de presentación Desafortunadamente, no todos los chatbots pueden codificar de la misma manera. Han pasado 18 meses desde esa primera prueba, e incluso ahora, cinco de los 10 LLM que probé no pueden crear complementos que funcionen. En este artículo, le mostraré cómo se desempeñó cada LLM en comparación con mis pruebas. Hay dos chatbots que te recomiendo que utilices, pero cuestan 20 dólares al mes. Las versiones gratuitas de los mismos chatbots funcionan lo suficientemente bien como para que probablemente puedas arreglártelas sin pagar. Pero el resto, ya sean gratuitos o de pago, no son tan buenos. No arriesgaré mis proyectos de programación con ellos ni te recomendaré que lo hagas hasta que su rendimiento mejore. Además: Cómo pruebo la capacidad de codificación de un chatbot con IA, y usted también puede hacerlo. He escrito mucho sobre el uso de IA para ayudar con la programación. A menos que sea un proyecto pequeño y simple, como el complemento de mi esposa, las IA no pueden escribir aplicaciones o programas completos. Pero se destacan escribiendo unas pocas líneas y no son malos arreglando código. En lugar de repetir todo lo que he escrito, siga adelante y lea este artículo: Cómo usar ChatGPT para escribir código: qué puede y qué no puede hacer por usted. Si desea comprender mis pruebas de codificación, por qué las elegí. y por qué son relevantes para esta revisión de los 10 LLM, lea este artículo: Cómo pruebo la capacidad de codificación de un chatbot de IA, y usted también puede hacerlo. Comencemos con una mirada comparativa del rendimiento de los chatbots: David Gewirtz/ZDNETA continuación, veamos cada chatbot individualmente. Hablaré de nueve chatbots, aunque el cuadro anterior muestra 10 LLM. Los resultados de GPT-4 y GPT-4o están incluidos en ChatGPT Plus. ¿Listo? Vamos. Mostrar menos ChatGPT Plus El mejor chatbot de IA general para codificación Precio: $20/mesLLM: GPT-4o, GPT-4, GPT-3.5Interfaz de navegador de escritorio: SíAplicación dedicada para Mac: SíAplicación dedicada para Windows: NoAutenticación multifactor: SíPruebas aprobadas: 4 de 4ChatGPT Además, con GPT-4 y GPT-4o pasé todas mis pruebas. Una de mis funciones favoritas es la disponibilidad de una aplicación dedicada. Cuando pruebo la programación web, tengo mi navegador configurado en una cosa, mi IDE abierto y la aplicación ChatGPT para Mac ejecutándose en una pantalla separada. Además: sometí a GPT-4o a mis pruebas de codificación y las superó, excepto por una cosa extraña. resultadoAdemás, el Prompt Builder de Logitech, que aparece usando un botón del mouse, se puede configurar para usar el GPT-4o actualizado y conectarse a su cuenta OpenAI, lo que hace que ejecutar un mensaje sea un simple toque con el pulgar, lo cual es muy conveniente. Lo único que no me gustó fue que una de mis pruebas GPT-4o resultó en una respuesta de doble opción y una de esas respuestas era incorrecta. Preferiría que me diera la respuesta correcta. Aun así, una prueba rápida confirmó qué respuesta funcionaría. Pero ese tema fue un poco molesto. No tuve ese problema en GPT-4, así que por ahora, esa es la configuración LLM que uso con ChatGPT al codificar. Mostrar opinión de experto Mostrar menos Mostrar menos Perplexity Pro El mejor chatbot de IA para pruebas de LLM Precio: $20/mesLLM: GPT-4o, Claude 3.5 Sonnet, Sonar Large, Claude 3 Opus, Llama 3.1 405B Interfaz de navegador de escritorio: SíAplicación dedicada para Mac: NoAplicación dedicada para Windows: NoAutenticación multifactor: NoPruebas aprobadas: 4 de 4Consideré seriamente incluir a Perplexity Pro como el mejor chatbot de IA en general para codificación, pero una falla lo mantuvo fuera del primer lugar: cómo iniciar sesión. Perplexity no usa nombre de usuario/contraseña o clave de acceso y no tiene autenticación multifactor. Todo lo que hace la herramienta es enviarle un PIN de inicio de sesión por correo electrónico. La IA tampoco tiene una aplicación de escritorio separada, como la tiene ChatGPT para Mac. Lo que diferencia a Perplexity de otras herramientas es que puede ejecutar múltiples LLM. Si bien no puede configurar un LLM para una sesión determinada, puede acceder fácilmente a la configuración y elegir el modelo activo. Además: ¿Perplexity Pro puede ayudarlo a codificar? Superó mis pruebas de programación: gracias a GPT-4. Para la programación, probablemente querrás seguir con GPT-4o, porque superó todas nuestras pruebas. Pero podría ser interesante verificar el código de los diferentes LLM. Por ejemplo, si tiene GPT-4o para escribir algún código de expresión regular, podría considerar cambiar a un LLM diferente para ver qué piensa ese LLM del código generado. Como veremos a continuación, la mayoría de los LLM no son confiables, así que no Tome los resultados como un evangelio. Sin embargo, puede utilizar los resultados para obtener más cosas para verificar su código original. Es algo así como una revisión de código impulsada por IA. No olvides volver a GPT-4o. Mostrar opinión de experto Mostrar menos Mostrar menos ChatGPT Gratis El mejor chatbot de IA gratuito para codificación Precio: GratisLLM: GPT-4o, GPT-3.5Interfaz de navegador de escritorio: SíAplicación dedicada para Mac: SíAplicación dedicada para Windows: NoAutenticación multifactor: SíPruebas aprobadas: 3 de 4 en Modo GPT-3.5ChatGPT está disponible para cualquier persona de forma gratuita. Si bien tanto la versión Plus como la gratuita son compatibles con GPT-4o, que pasó todas mis pruebas de programación, existen limitaciones al usar la aplicación gratuita. OpenAI trata a los usuarios de ChatGPT gratuitos como si estuvieran en los asientos baratos. Si el tráfico es alto o los servidores están ocupados, ChatGPT gratuito solo pondrá GPT-3.5 a disposición de los usuarios gratuitos. La herramienta solo le permitirá una cierta cantidad de consultas antes de que baje de categoría o lo apague. Además: Cómo usar ChatGPT: lo que necesita saber ahora He tenido varias ocasiones en las que la versión gratuita de ChatGPT efectivamente me dijo que había preguntado Demasiadas preguntas.ChatGPT es una gran herramienta, siempre y cuando no te importe que te cierren a veces. Incluso GPT-3.5 obtuvo mejores resultados en las pruebas que todos los demás chatbots, y la prueba en la que falló fue para una herramienta de programación bastante oscura producida por un programador solitario en Australia. Entonces, si el presupuesto es importante para usted y puede esperar cuando se corte , opte por ChatGPT gratis. Mostrar opinión de experto Mostrar menos Mostrar menos Perplexity Free El mejor chatbot de IA gratuito para codificación e investigación Precio: GratisLLM: GPT-3.5Interfaz de navegador de escritorio: SíAplicación dedicada para Mac: NoAplicación dedicada para Windows: NoAutenticación multifactor: NoPruebas aprobadas: 3 de 4Estoy enhebrando Una aguja bastante fina aquí, pero debido a que la versión gratuita de Perplexity AI se basa en GPT-3.5, los resultados de las pruebas fueron considerablemente mejores que los de otros chatbots de IA. Además: 5 razones por las que prefiero Perplexity a cualquier otro chatbot de IA Desde una perspectiva de programación, eso es bastante mucho toda la historia. Pero desde una perspectiva de investigación y organización, mi colega de ZDNET, Steven Vaughan-Nichols, prefiere Perplexity a las otras IA. Le gusta cómo Perplexity proporciona fuentes más completas para preguntas de investigación, cita sus fuentes, organiza las respuestas y ofrece preguntas para búsquedas posteriores. Si estás programando, pero también estás haciendo otras investigaciones, considera la versión gratuita de Perplexity. Mostrar opinión de experto Mostrar menos Chatbots que se deben evitar para obtener ayuda en programación Probé nueve chatbots y cuatro pasaron la mayoría de mis pruebas. Los otros chatbots, incluidos algunos considerados excelentes para la programación, solo pasaron una de mis pruebas, y el Copilot de Microsoft no pasó ninguna. Los menciono aquí porque la gente preguntará y los probé exhaustivamente. Algunos bots funcionan bien para otros trabajos, por lo que le indicaré sus revisiones generales si simplemente tiene curiosidad sobre cómo funcionan. Meta AI David Gewirtz/ZDNETMeta AI es la IA de propósito general de Facebook. Como puede ver arriba, falló tres de nuestras cuatro pruebas. Además: Cómo comenzar con Meta AI en Facebook, Instagram y más. La IA generó una interfaz de usuario agradable pero sin funcionalidad. Y encontró mi molesto error, lo cual es un desafío bastante serio. Dado el conocimiento específico requerido para encontrar el error, me sorprendió que se atragantara con un simple desafío de expresión regular. Pero así fue. Meta Code Llama David Gewirtz/ZDNETMeta Code Llama es la IA de Facebook diseñada específicamente para ayudar con la codificación. Es algo que puedes descargar e instalar en tu servidor. Lo probé ejecutándolo en una instancia de Hugging Face AI. Además: ¿Puede Meta AI codificar? Lo probé contra Llama, Gemini y ChatGPT; ni siquiera estuvo cerca. Extrañamente, aunque tanto Meta AI como Meta Code Llama se ahogaron en tres de cuatro de mis pruebas, se atragantaron con diferentes problemas. No se puede contar con que las IA den la misma respuesta dos veces, pero este resultado fue una sorpresa. Veremos si eso cambia con el tiempo. Claude 3.5 Sonnet David Gewirtz/ZDNETAnthropic afirma que la versión 3.5 Sonnet de su chatbot Claude AI es ideal para la programación. Después de fallar todas las pruebas menos una, no estoy tan seguro. Si no lo estás usando para programar, Claude puede ser una mejor opción que la versión gratuita de ChatGPT. Además: 4 cosas que Claude AI puede hacer y ChatGPT no. Mi colega de ZDNET, María Díaz, informa que Claude puede manejar archivos cargados, procesar más palabras que la versión gratuita de ChatGPT, proporcionar información aproximadamente un año más actualizada que GPT-3.5 y acceder a sitios web. . Gemini Advanced David Gewirtz/ZDNETGemini Advanced es la versión profesional de Google de su chatbot Gemini (anteriormente Bard) de Google, que cuesta 20 dólares. Esperaba que la herramienta funcionara mejor que uno de cada cuatro. Curiosamente, pasó la única prueba que todas las IA, excepto GPT-4/4o, fallaron: el conocimiento de ese lenguaje de programación bastante oscuro producido por un programador en Australia. Además: 3 formas en que Gemini Advanced supera a otros asistentes de IA, según Google Entonces, si conocía ese lenguaje, ¿por qué no podía manejar expresiones regulares básicas u otros problemas de estudiantes de programación de primer año? Copiloto de Microsoft David Gewirtz/ZDNET Se podría pensar que la empresa con el mensaje «¡Desarrolladores! ¡Desarrolladores! ¡Desarrolladores!» mantra en su ADN tendría una IA que obtendría mejores resultados en las pruebas de programación. Microsoft produce algunas de las mejores herramientas de codificación del planeta. Y, sin embargo, a Copilot le fue mal. Además: ¿Cuáles son los diferentes copilotos de Microsoft? Aquí están las diferencias y cómo puedes usarlas. Lo único positivo es que Microsoft siempre aprende de sus errores. Entonces, volveré a comprobarlo más tarde y veré si este resultado mejora. pero me gusta [insert name here]. ¿Significa esto que tengo que usar un chatbot diferente? Probablemente no. He limitado mis pruebas a las tareas de programación del día a día. A ninguno de los robots se le ha pedido que hable como un pirata, escriba prosa o haga un dibujo. De la misma manera que utilizamos diferentes herramientas de productividad para realizar tareas específicas, siéntete libre de elegir la IA que te ayude a completar la tarea en cuestión. El único problema es si tienes un presupuesto limitado y pagas por una versión pro. Luego, encuentre la IA que haga la mayor parte de lo que desea, para no tener que pagar por demasiados complementos de IA. Es sólo cuestión de tiempo. Los resultados de mis pruebas fueron bastante sorprendentes, especialmente teniendo en cuenta las grandes inversiones de Microsoft y Google. Pero esta área de innovación está mejorando a gran velocidad, por lo que volveremos con pruebas y resultados actualizados con el tiempo. Estén atentos. ¿Has utilizado alguno de estos chatbots de IA para programar? ¿Cuál ha sido tu experiencia? Háganos saber en los comentarios a continuación. Puedes seguir las actualizaciones diarias de mi proyecto en las redes sociales. Asegúrese de suscribirse a mi boletín de actualización semanal y sígueme en Twitter/X en @DavidGewirtz, en Facebook en Facebook.com/DavidGewirtz, en Instagram en Instagram.com/DavidGewirtz y en YouTube en YouTube.com/DavidGewirtzTV.