GitHub Copilot ha guiado a los ingenieros de software del Grupo Bancario de Australia y Nueva Zelanda (ANZ Bank) hacia una mayor productividad y calidad del código, y la prueba de manejo fue suficiente para que la casa financiera implementara el asistente de programación de IA generativa en los flujos de trabajo de producción. Desde mediados de junio de 2023 hasta finales de julio de ese año, el ANZ Bank, con sede en Melbourne, llevó a cabo una prueba interna de GitHub Copilot en la que participaron 100 de los 5000 ingenieros de la empresa. La prueba de seis semanas, que consta de dos semanas de preparación y cuatro semanas de desafíos de código, buscó examinar cómo se sentían los participantes acerca del uso de GitHub Copilot con Microsoft Visual Studio Code y medir el impacto que el sistema basado en IA tuvo en la productividad de los programadores. calidad del código y seguridad del software. Los hallazgos del experimento se documentaron en un informe con un título que podría necesitar un poco más de delicadeza: «El impacto de la herramienta de inteligencia artificial en la ingeniería en ANZ Bank, un estudio empírico sobre el copiloto de GitHub en el entorno corporativo». El informe, escrito en coautoría por Sayan Chatterjee, arquitecto de la nube en ANZ, y Louis Liu, líder del área de ingeniería de inteligencia artificial y capacidad de análisis de datos en ANZ, cita varios estudios previos sobre la productividad de la programación con Copilot. Un estudio de Microsoft, que ahora es propietario de GitHub, encontró que codificar con un asistente de IA mejoraba la productividad en más de un 55 por ciento, lo que no es una sorpresa dadas las encuestas de otros proveedores. Un estudio de ACM/IEEE sobre programación con ayuda de IA sugirió que la asistencia robótica era más bien una compensación: descubrió que Copilot generaba más código, aunque la calidad del software generado era peor que la del software creado por humanos. ANZ Bank intentó realizar su propia evaluación, citando el beneficio potencial de la IA en la productividad y al mismo tiempo reconociendo que la tecnología «plantea riesgos inherentes, incertidumbres y consecuencias no intencionales con respecto a la propiedad intelectual, la seguridad de los datos y la privacidad». Esos riesgos, destacados por la demanda de derechos de autor en curso contra GitHub, Microsoft y OpenAI por Copilot, no se abordan en el estudio, excepto como un guiño al cumplimiento normativo. «Antes de comenzar el experimento, se evaluaron los riesgos relacionados con la propiedad intelectual, la seguridad de los datos y la privacidad junto con los equipos legales y de seguridad de ANZ para llegar a un conjunto de pautas», dijo. El experimento del banco examinó el efecto que tiene Copilot en: el sentimiento y la productividad de los desarrolladores, así como en la calidad y seguridad del código. Requirió que los ingenieros de software, ingenieros de nube e ingenieros de datos participantes abordaran seis desafíos de codificación algorítmica por semana usando Python. A los del grupo de control no se les permitió usar Copilot, pero sí buscar en Internet o usar Stack Overflow. «El grupo que tuvo acceso a GitHub Copilot pudo completar sus tareas un 42,36 por ciento más rápido que los participantes del grupo de control», dice el informe. «…El código producido por los participantes de Copilot contenía menos errores y olores de código en promedio, lo que significa que sería más fácil de mantener y menos probable que se rompiera durante la producción». Ambos resultados se consideraron estadísticamente significativos. En cuanto a la seguridad, el experimento no fue concluyente. «El experimento no pudo generar datos significativos que midieran la seguridad del código», dice el informe. «Sin embargo, los datos sugieren que Copilot no introdujo ningún problema de seguridad importante en el código». Los datos sugieren que Copilot no introdujo ningún problema de seguridad importante en el código. Esto puede deberse a la naturaleza de los desafíos, que fueron diseñados para ser lo suficientemente cortos como para que los participantes pudieran completarlos junto con su trabajo diario habitual. Como tal, los desafíos enviados fueron bastante breves y no dejaron mucho espacio para errores, señala el informe. En términos de sentimiento, quienes usaron Copilot se sintieron positivos acerca de la experiencia, aunque no del todo. «Sintieron que les ayudó a revisar y comprender el código existente, crear documentación y probar su código; sintieron que les permitió dedicar menos tiempo a depurar su código y redujo su tiempo general de desarrollo; y sintieron que las sugerencias que proporcionó fueron algo útiles. y alineado bien con los estándares de codificación de su proyecto», dice el informe. Un hallazgo intrigante es que Copilot fue el más útil para los programadores más experimentados. «La evaluación de la productividad basada en el dominio de Python encontró que Copilot era beneficioso para los participantes de todos los niveles, pero era más útil para aquellos que eran programadores ‘expertos’ en Python», dice el estudio, y agrega que el asistente de IA proporcionó la mayor mejora (en términos de tiempo ahorrado) en tareas difíciles. Si bien se observa que los respaldos levemente positivos de los participantes indican que Copilot se puede mejorar aún más, el informe respalda incluir Copilot en los flujos de trabajo de producción del banco. «Al momento de escribir este artículo, GitHub Copilot ya ha experimentado una adopción significativa dentro de la organización, con más de 1,000 usuarios usándolo en sus flujos de trabajo», concluye el informe, y agrega que se está llevando a cabo una investigación más amplia sobre el impacto de Copilot en la productividad. ® Contrapunto: la asistencia de IA está provocando una menor calidad del código fuente, afirman los investigadores

Source link