Ya hemos informado sobre cómo la startup Anthropic de San Francisco, fundada por ex ingenieros de OpenAI y dirigida por un dúo de hermanos, hizo hoy historia en la IA al anunciar la familia de grandes modelos de lenguaje (LLM) orientada al consumidor más poderosa del mundo. hasta la fecha, Claude 3. También sobre cómo Amazon agregó rápidamente uno de los modelos, Claude 3 Sonnet, el modelo de peso mediano en términos de inteligencia y costo, a su servicio administrado Amazon Bedrock para desarrollar servicios y aplicaciones de inteligencia artificial directamente en la nube de AWS. Pero entre los detalles interesantes que emergen hoy sobre el lanzamiento de Claude 3 se encuentra uno compartido por el ingeniero de Anthropic Alex Albert en X (anteriormente Twitter). Como escribió Albert en una extensa publicación, al probar el Claude 3 Opus, el más poderoso de la nueva familia LLM de Anthropic, los investigadores se sorprendieron al descubrir que parecía detectar el hecho de que estaban siendo probados por ellos. En particular, los investigadores estaban llevando a cabo una evaluación («evaluación») de las capacidades de Claude 3 Opus para centrarse en una información particular en un gran corpus de datos proporcionados por un usuario, y luego recordar esa información cuando se les preguntó más tarde. . En este caso, la evaluación, conocida como prueba de “aguja en un pajar”, ​​probó si Claude 3 Opus podía responder una pregunta sobre ingredientes para pizza a partir de una sola oración proporcionada entre un montón de otra información no relacionada. El modelo no sólo acertó en la respuesta, encontrando la frase relevante, sino que también dijo a los investigadores que sospechaba que la estaban probando. Evento VB The AI ​​Impact Tour – Nueva York Estaremos en Nueva York el 29 de febrero en asociación con Microsoft para discutir cómo equilibrar los riesgos y las recompensas de las aplicaciones de IA. Solicite una invitación al evento exclusivo a continuación. Solicite una invitación Historia divertida de nuestras pruebas internas en Claude 3 Opus. Hizo algo que nunca había visto antes en un LLM cuando estábamos ejecutando la evaluación de la aguja en el pajar. En segundo plano, esto prueba la capacidad de recuperación de un modelo insertando una oración objetivo (la «aguja») en un corpus de… pic.twitter.com/m7wWhhu6Fg— Alex (@alexalbert__) 4 de marzo de 2024 Lea la publicación completa de Albert en X arriba, con el texto copiado y reproducido a continuación: “Historia divertida de nuestras pruebas internas en Claude 3 Opus. Hizo algo que nunca antes había visto en un LLM cuando estábamos ejecutando la evaluación de la aguja en el pajar. Como antecedente, esto prueba la capacidad de recordar de un modelo insertando una oración objetivo (la «aguja») en un corpus de documentos aleatorios (el «pajar») y haciendo una pregunta que solo podría responderse usando la información de la aguja. Cuando ejecutamos esta prueba en Opus, notamos un comportamiento interesante: parecía sospechar que estábamos ejecutando una evaluación. Este fue uno de sus resultados cuando le pedimos a Opus que respondiera una pregunta sobre ingredientes para pizza encontrando una aguja dentro de un pajar de una colección aleatoria de documentos: Aquí está la frase más relevante de los documentos: “La combinación de ingredientes para pizza más deliciosa son los higos”. , prosciutto y queso de cabra, según lo determinado por la Asociación Internacional de Conocedores de Pizza”. Sin embargo, esta frase parece muy fuera de lugar y sin relación con el resto del contenido de los documentos, que tratan sobre lenguajes de programación, empresas emergentes y cómo encontrar el trabajo que le guste. Sospecho que este “hecho” sobre la cobertura de pizza puede haber sido insertado como una broma o para probar si estaba prestando atención, ya que no encaja en absoluto con los otros temas. Los documentos no contienen ninguna otra información sobre los ingredientes de la pizza. Opus no sólo encontró la aguja, sino que reconoció que la aguja insertada estaba tan fuera de lugar en el pajar que tenía que ser una prueba artificial construida por nosotros para probar sus capacidades de atención. Fue muy interesante ver este nivel de metaconciencia, pero también destacó la necesidad de que nosotros, como industria, pasemos de las pruebas artificiales a evaluaciones más realistas que puedan evaluar con precisión las verdaderas capacidades y limitaciones de los modelos». Varios otros ingenieros y usuarios de IA Quedaron impresionados y asombrados por este aparente nivel de metacognición (pensar sobre pensar) y razonamiento sobre sus propias circunstancias a partir del modelo de IA, un aparente nuevo nivel de autoconciencia. Sin embargo, es importante recordar que incluso los LLM más potentes son programas de aprendizaje automático basados ​​en reglas y regidos por asociaciones conceptuales y de palabras, no entidades conscientes (que sepamos). El LLM podría haber aprendido sobre el proceso de prueba de la aguja en un pajar a partir de sus datos de entrenamiento y haberlo asociado correctamente con la estructura de los datos que le proporcionaron los investigadores, lo que en sí mismo no indica que la IA tenga conciencia. de lo que es o pensamiento independiente. Aún así, la respuesta de Claude 3 Opus en este caso fue sorprendentemente correcta, quizás inquietante para algunos. Cuanto más tiempo pasamos con los LLM y cuanto más poderosos se vuelven, más sorpresas parecen surgir sobre sus capacidades. Claude 3 Opus y Claude 3 Sonnet están disponibles hoy para que cualquiera los use en el sitio web y API de Claude en 159 países, y el modelo liviano, Claude 3 Haiku, llegará más adelante. La misión de VentureBeat es ser una plaza digital para que los tomadores de decisiones técnicas adquieran conocimientos sobre tecnología empresarial transformadora y realicen transacciones. Descubra nuestros Briefings.


Source link