Hace unas semanas, realicé mi conjunto estándar de pruebas de programación contra la versión gratuita del chatbot Perplexity.ai. Al final del artículo, ofrecí ejecutar pruebas contra la versión Pro de $20/mes si había suficientes interesados. Recibí algunas solicitudes, así que eso es lo que estamos haciendo aquí. Además: ¿Quieres un año gratis de Perplexity Pro? Aquí te explicamos cómo reclamarlo Como la mayoría de las otras versiones pro, para usar Perplexity Pro, debes crear una cuenta. Puedes iniciar sesión usando los métodos de autenticación de Google o Apple o un inicio de sesión SAML. Alternativamente, puedes crear una cuenta usando tu dirección de correo electrónico, que es lo que hice. Desafortunadamente, el sitio no parece brindarte ninguna forma de establecer una contraseña o cualquier forma de autenticación multifactor. Te envían un correo electrónico con un código y eso es todo. No me importa recibir un código de correo electrónico, pero me molestan mucho las aplicaciones web que dependen únicamente de un código de correo electrónico sin, al menos, una contraseña. Pero eso es lo que hace Perplexity.AI. También: 5 razones por las que prefiero Perplexity sobre cualquier otro chatbot de IAEl otro aspecto interesante de Perplexity Pro es su cornucopia de modelos de IA. Como puedes ver en la imagen de abajo, puedes elegir entre varios modelos diferentes, según el tipo de trabajo que tengas. Elegí Default para ver qué hacía con las pruebas. Después de ejecutar las pruebas, le pregunté a Perplexity Pro qué modelo usaba para ellas, y me dijo ChatGPT GPT-4. Captura de pantalla de David Gewirtz/ZDNETY con eso, ejecutemos algunas pruebas. 1. Escribir un complemento de WordPress Este desafío es una tarea de programación bastante simple para cualquiera con un mínimo de experiencia en programación web. Presenta una interfaz de usuario en el panel de administración con dos campos: uno es una lista de nombres que se aleatorizarán y el otro es la salida. El único problema real es que la lista de nombres puede tener duplicados y, en lugar de eliminar los nombres adicionales, sus instrucciones son asegurarse de que los nombres duplicados estén separados entre sí. También: Cómo pruebo la capacidad de codificación de un chatbot de IA (y tú también puedes hacerlo) Esta era una función real que mi esposa necesitaba usar para su sitio web de comercio electrónico. Todos los meses, hacen girar la ruleta y algunas personas califican para múltiples entradas. Usando el modelo predeterminado de Perplexity Pro, la IA logró generar una interfaz de usuario viable y un código funcional, proporcionando tanto un bloque PHP como un bloque JavaScript para controlar las áreas de texto y la lógica de aleatorización. Aquí están los resultados agregados de esta y otras pruebas anteriores: Perplexity Pro: Interfaz: buena, funcionalidad: buenaPerplexity: Interfaz: buena, funcionalidad: buenaClaude 3.5 Sonnet: Interfaz: buena, funcionalidad: fallaChatGPT usando GPT-4o: Interfaz: buena, funcionalidad: buenaMicrosoft Copilot: Interfaz: adecuada, funcionalidad: fallaMeta AI: Interfaz: adecuada, funcionalidad: fallaMeta Code Llama: Fallo totalGoogle Gemini Advanced: Interfaz: buena, funcionalidad: fallaChatGPT usando GPT-4: Interfaz: buena, funcionalidad: buenaChatGPT usando GPT-3.5: Interfaz: buena, funcionalidad: buena2. Reescritura de una función de cadenaPara cada prueba, abro una nueva sesión con la IA. En esta prueba, le pido a la IA que reescriba un bloque de código que tenía un error. El código fue diseñado para validar la entrada de dólares y centavos, que debe comprender una cierta cantidad de dígitos antes del punto decimal, un posible punto decimal y dos dígitos después del punto decimal. Además: ¡Vaya! Microsoft Copilot falló en todas y cada una de mis pruebas de codificación. Desafortunadamente, el código que envié solo permitía números enteros. Después de un par de informes de usuarios, decidí enviar el código a la IA para que lo reescribiera. Mi código usa expresiones regulares, que son una forma formulaica de especificar un formato. Las expresiones regulares en sí mismas son divertidas, pero depurarlas no lo es. En el caso de esta prueba, Perplexity Pro hizo un buen trabajo. El código de validación resultante marcó correctamente los elementos que no se ajustaban al formato de dólares y centavos, lo que permitía hasta dos dígitos después del decimal. Estos son los resultados agregados de esta y las pruebas anteriores: Perplexity Pro: exitosoPerplexity: exitosoClaude 3.5 Sonnet: fallóChatGPT usando GPT-4o: exitosoMicrosoft Copilot: fallóMeta AI: fallóMeta Code Llama: fallóGoogle Gemini Advanced: fallóChatGPT usando GPT-4: exitosoChatGPT usando GPT-3.5: exitoso 3. Encontrar un error molesto Esta prueba me dejó perplejo durante algunas horas. Antes de que fuera una prueba, era un error en el código de un producto real. El problema era que lo que fuera que salía mal no estaba relacionado con ninguna lógica obvia o problema de lenguaje. Además: Le pedí a ChatGPT que escribiera un complemento de WordPress que necesitaba. Lo hizo en menos de 5 minutosSiendo seriamente frustrado, decidí alimentar a ChatGPT con el código y el volcado de errores y pedirle ayuda. Afortunadamente, encontró lo que había hecho mal y me dio orientación sobre qué arreglar. La razón por la que incluyo esto en el conjunto de pruebas es porque el error no estaba en el lenguaje o la lógica, estaba en el conocimiento del marco de WordPress. Si bien WordPress es popular, el conocimiento del marco generalmente se considera el folclore de un entorno de programación, algo que se transmite de desarrollador a desarrollador, en lugar de algo que se aprendería rigurosamente mediante una base de conocimientos. Sin embargo, ChatGPT, así como Perplexity y ahora Perplexity Pro, encontraron el problema. El error se debía a un problema de llamada de parámetros enterrado en el propio marco. La respuesta obvia, que podría llegar a usted estrictamente leyendo los mensajes de error generados por el código, en realidad era incorrecta. Además: los suscriptores de Uber One obtienen un año gratis de Perplexity Pro. Aquí se explica cómo reclamarlo Para resolverlo, la IA tuvo que demostrar una comprensión más profunda de cómo funcionan todos los sistemas juntos, algo que Perplexity Pro hizo con éxito. Estos son los resultados agregados de esta y otras pruebas anteriores: Perplexity: ExitosoPerplexity Pro: ExitosoClaude 3.5 Sonnet: ExitosoChatGPT usando GPT-4o: ExitosoMicrosoft Copilot: FallóMeta AI: ExitosoMeta Code Llama: FallóGoogle Gemini Advanced: FallóChatGPT usando GPT-4: ExitosoChatGPT usando GPT-3.5: Exitoso 4. Escribir un script Bueno, esto es interesante. Perplexity Pro pasó esta prueba, pero la versión gratuita de Perplexity falló cuando la probé hace un par de semanas. Así que, ¡genial! Pero profundicemos un poco en esto. El desafío aquí es que le pido a la IA que escriba un script que intersecte tres entornos: el DOM de Chrome (modelo de objetos de documento), AppleScript (el lenguaje de scripting nativo de Apple) y Keyboard Maestro (una herramienta de automatización de Mac muy interesante que es bastante oscura, pero para mí, de misión crítica). La mayoría de las IA fallaron porque no tenían ninguna información sobre Keyboard Maestro en sus bases de conocimiento y, como tal, no dieron el código necesario para que el script hiciera lo que yo quería. Además: Cómo usar ChatGPT para escribir código: Qué puede y qué no puede hacer por ustedSolo Gemini Advanced y ChatGPT que usan GPT-4 y GPT-4o pasaron esta prueba hasta ahora. Al responder la pregunta, Perplexity Pro proporcionó una vista de búsqueda Pro. Como puede ver, la vista de búsqueda Pro hizo una búsqueda de «pestañas de Google Chrome de Keyboard Maestro AppleScript». También usó el foro principal de Keyboard Maestro como fuente, que es la mejor fuente para obtener ayuda con la codificación de Keyboard Maestro. Captura de pantalla de David Gewirtz/ZDNETEl resultado fue un éxito. Estos son los resultados agregados de esta y las pruebas anteriores: Perplexity Pro: exitosoPerplexity: fallidoClaude 3.5 Sonnet: fallidoChatGPT usando GPT-4o: exitoso pero con reservasMicrosoft Copilot: fallidoMeta AI: fallidoMeta Code Llama: fallidoGoogle Gemini Advanced: exitosoChatGPT usando GPT-4: exitosoChatGPT usando GPT-3.5: fallido Resultados generales Estos son los resultados generales de las cuatro pruebas: Como puede ver, Perplexity Pro se une solo a ChatGPT con GPT-4 y GPT-4o al tener una puntuación perfecta de 4 de 4 exitosos. Después de ejecutar mis pruebas, verifiqué con la IA de Perplexity Pro y me informó que usó GPT-4 para analizar y responder a mis pruebas. Dado que GPT-4/4o es la única IA que acertó mis cuatro pruebas anteriores, esto tiene sentido. Hasta ahora, no he encontrado ningún otro modelo que pueda pasar completa y correctamente las cuatro pruebas de programación. Además: Cómo ejecutar docenas de modelos de IA en tu Mac o PC, sin necesidad de una nube de terceros Si eliges Perplexity Pro, puedo afirmar con bastante confianza que debería poder hacer un buen trabajo ayudándote a programar. ¿Has probado a codificar con Perplexity, Copilot, Meta AI, Gemini o ChatGPT? ¿Cuál ha sido tu experiencia? Cuéntanoslo en los comentarios a continuación. Puedes seguir las actualizaciones diarias de mi proyecto en las redes sociales. Asegúrate de suscribirte a mi boletín de actualizaciones semanales y seguirme en Twitter/X en @DavidGewirtz, en Facebook en Facebook.com/DavidGewirtz, en Instagram en Instagram.com/DavidGewirtz y en YouTube en YouTube.com/DavidGewirtzTV.