Investigadores de aprendizaje automático y expertos legales han lanzado SauLM-7B, que, según afirman, es el primer modelo de lenguaje grande de código abierto que genera texto y se centra específicamente en el trabajo y las aplicaciones legales. A la luz de recientes errores de alto perfil en los que la IA generativa citó casos inexistentes en expedientes judiciales presentados (Mata contra Avianca y Park contra Kim), eso podría parecer poco aconsejable. La tendencia de los modelos de IA a alucinar y la procedencia incierta de sus datos parecerían ser factores decisivos en una industria donde hay mucho en juego. Pero los creadores de SauLM-7B, afiliados a la startup Equall.ai, la Université Paris-Saclay y la Sorbonne Université en Francia, y la Universidade de Lisboa y la Facultad de Derecho NOVA en Portugal, sostienen que hay un lugar para la ayuda de la inteligencia artificial en el derecho. «Los LLM y, en términos más generales, los sistemas de inteligencia artificial tendrán un impacto transformador en la práctica del derecho que incluye, pero va más allá, la productividad marginal», dijo un portavoz de Equall.ai en un correo electrónico a The Register. «Nuestro objetivo es crear sistemas de inteligencia artificial legales de extremo a extremo guiados y controlados por abogados. Creemos que los sistemas especializados para el ámbito legal funcionarán mejor que los generalistas. «Nuestra creencia, basada en datos y experiencia, es que los sistemas especializados para el ámbito legal funcionarán mejor que los generalistas. Esto incluye una mayor precisión y herramientas más útiles para ayudar a los abogados a centrarse en lo que más disfrutan y hacen mejor, que es ejercer el juicio jurídico y ayudar a sus clientes con asesoramiento». Otras organizaciones son igualmente optimistas sobre la utilidad de la asistencia de la IA. Goldman Sachs por última vez año estimado [PDF] que «una cuarta parte de las tareas laborales actuales podrían automatizarse mediante IA en los EE. UU., con exposiciones particularmente altas en profesiones administrativas (46 por ciento) y jurídicas (44 por ciento)…» Y empresas emergentes como Bench IQ, Harvey.ai y Safe Sign Las tecnologías ven una oportunidad de mercado en ese tipo de predicción. Equall.ai, fundada por Jorge Mattamouros, ex socio de White & Case LLP, sostiene que casi todo el trabajo legal (investigación, revisión y análisis de documentos, resúmenes e identificación de pasajes clave en documentos) puede beneficiarse de la IA. «Creemos que los LLM abren muchas más vías, algunas que vemos hoy, muchas aún por descubrir», continuó el portavoz de Equall.ai. «Por ejemplo, creemos que los LLM cambiarán drásticamente la forma en que abordamos tanto los procesos de procesamiento de datos como la generación de datos, lo que será fundamental para las aplicaciones legales donde obtener datos de alta calidad es costoso y difícil de lograr». La opinión de Equall.ai es que las imprecisiones de los modelos de IA se pueden mitigar. «Los LLM siguen siendo modelos probabilísticos», nos dijo la empresa. «Las alucinaciones son generalmente el síntoma de que los LLM operan fuera de distribución. En otras palabras, cuando se les pide que generen texto sobre temas y datos que son similares a los datos con los que se entrenó el LLM, los LLM tienden a alucinar significativamente menos que cuando se les pide que hagan cosas que He aprendido poco. «Por ejemplo, a lo largo de nuestra evaluación de Saul con abogados reales, pudimos confirmar que era menos propenso a alucinar cuando discutía conceptos legales específicos. En resumen, esperamos que los LLM que están específicamente capacitados en datos legales alucinen mucho menos sobre temas legales que sus contrapartes generalistas». Dicho esto, el advenedizo advierte que no se debe confiar en los modelos de IA como si fueran una base de datos legal, y que se recomienda volver a verificar el resultado de los LLM. Nosotros diríamos: la verificación es obligatoria. Los expertos detrás de SauLM-7B: Pierre Colombo, Telmo Pessoa Pires, Malik Boudiaf, Dominic Culver, Rui Melo, Caio Corro, Andre FT Martins, Fabrizio Esposito, Vera Lúcia Raposo, Sofia Morgado y Michael Desa describen su trabajo en un artículo titulado «SaulLM-7B: A pioneering Large Language Model for Law». Disponible en el sitio comunitario de modelos de IA HuggingFace, SauLM-7B se basa en el código abierto fuente del modelo Mistral 7B, ambos con 7 mil millones de parámetros, cifra significativamente menor que modelos como el LlaMA 2, que puede basarse en hasta 70 mil millones de parámetros, pero los creadores del SauLM-7B señalan que este es sólo el primer hito y que se está trabajando en ello. hecho con diferentes tamaños de modelo. Como es de esperar de un LLM, SauLM-7B funciona haciéndole preguntas o dándole indicaciones en lenguaje natural, e intenta responderlas o responderlas; en este caso, se centra en la ley y las cuestiones legales. Jonathan Schwarz, cofundador y científico jefe de la startup legal de inteligencia artificial Safe Sign Technologies, con sede en el Reino Unido, dijo a The Register que los creadores de SauLM-7B han adoptado un enfoque sensato para especializar los LLM generales. «Es una buena oferta como alternativa de código abierto a técnicas más patentadas», afirmó. «Sin embargo, hay trabajo por hacer». Es una buena oferta como alternativa de código abierto a técnicas más patentadas. Schwarz señaló la necesidad de modelos de equipos rojos, algo que, según dijo, su empresa está haciendo internamente. Se nos dice que Safe Sign Technologies ha creado un prototipo de un LLM legal y pretende tener una segunda iteración lista para su implementación a través de socios a finales de este año o en adelante. Schwarz dijo que la compañía aún no estaba lista para comentar sobre hasta qué punto su oferta será de código abierto o patentada. Pero afirmó que, si bien SaulLM-7B-Instruct, una versión adaptada a las instrucciones generales y legales, logró obtener una puntuación promedio de 0,61 en el punto de referencia LegalBench-Instruct, «nos estamos acercando a 0,77». Ese porcentaje de precisión es similar al de GPT-4, aunque le recomendamos que se tome un poco de sal con los puntos de referencia de aprendizaje automático. «Nuestra ambición aquí era crear una solución de inteligencia artificial que brinde a cada persona asesoramiento legal de muy buena calidad al instante», dijo Alexander (Sami) Kardos-Nyheim, cofundador y director ejecutivo de Safe Sign Technologies en una entrevista con The Register. «No es un asesoramiento legal poco confiable de ChatGPT ni nada por el estilo. Pero sí un asesoramiento legal serio que realmente puedes utilizar y en el que puedes confiar a través de la IA». De alguna manera evitas ese problema de aprender todo este comportamiento tóxico que estás tratando de deshacer más tarde. «Muy, muy aproximadamente, la forma en que estas técnicas o estos métodos generalmente se entrenan es que tienes un enorme conjunto de datos que ha sido entrenados en la web y cada paso de entrenamiento directo lo tomas como muestra o simplemente eliges un subconjunto aleatorio de eso», explicó Schwarz. «Luego simplemente entrenas en ese subconjunto y lo haces billones de veces. En lugar de simplemente elegir un subconjunto aleatorio, tenemos nuevos métodos que en cada punto del entrenamiento intentan determinar cuál es el subconjunto óptimo de datos para entrenar en ese subconjunto». momento en el tiempo, de forma que la mejora de los modelos sea máxima. Ese es el primer paso. De esta manera, evitas ese problema de aprender todo este comportamiento tóxico que intentas deshacer más tarde». Schwarz sugirió que el enfoque de Safe Sign es, bueno, más seguro. «En un caso en el que hay una cuestión legal específica que el El modelo simplemente no sabe muy bien cómo responder, en lugar de dar con confianza una respuesta incorrecta, podemos simplemente decir que nos estamos conteniendo». Continuó expresando escepticismo sobre el enfoque de hervir el océano adoptado por OpenAI. y Google, que implica centrarse en daños generales como los prejuicios raciales y de género, y pagar a contratistas económicos para que clasifiquen las respuestas de sus modelos para que puedan volver a entrenar las redes neuronales para que produzcan menos respuestas dañinas. «Lo que puedes hacer, tienes que probar todo lo que un humano puede hacer», dijo Schwarz. «Creo que es una estrategia perdedora si intentas hacer eso en todos los temas posibles». «No sólo en la IA legal , pero en términos más generales, en la IA, no estamos viendo el enfoque en la seguridad y la robustez que permiten sistemas serios y confiables en el contexto médico o legal», añadió Kardos-Nyheim. ®

Source link