domingo, septiembre 25, 2022
InicioSEO UpdatesGoogle presenta su algoritmo PaLM: Pathways Language Model con 540 mil millones...

Google presenta su algoritmo PaLM: Pathways Language Model con 540 mil millones de parámetros

PaLM logra una eficiencia de capacitación del 57,8 % en la utilización de FLOP de hardware, la más alta alcanzada hasta ahora para los LLM a esta escala

Google AI presentó el modelo de lenguaje Pathways (PaLM), un modelo de transformador denso de solo decodificador de 540 000 millones de parámetros entrenado con el sistema Pathways (Asynchronous Distributed Dataflow for ML) que se utiliza para entrenar un solo modelo en varios pods de TPU v4. Los investigadores evaluaron PaLM en cientos de tareas de comprensión y generación de idiomas y lograron un rendimiento de última generación en pocos disparos en la mayoría de las tareas, con márgenes significativos en muchos casos.

PaLM logra una eficiencia de entrenamiento del 57,8% en la utilización de FLOP de hardware, la más alta alcanzada hasta ahora para LLM a esta escala, gracias a una combinación de la estrategia de paralelismo y una reformulación del bloque Transformer que permite que las capas de atención y feedforward se calculen en paralelo. habilitando aceleraciones de las optimizaciones del compilador de TPU.

image8
fuente: Google IA Blog

PaLM se entrenó utilizando una combinación de conjuntos de datos en inglés y multilingües que incluyen documentos web de alta calidad, libros, Wikipedia , conversaciones y código de GitHub.

Los investigadores también crearon un vocabulario «sin pérdidas» que conserva todos los espacios en blanco (especialmente importantes para el código), divide los caracteres Unicode fuera del vocabulario en bytes y divide los números en tokens individuales, uno para cada dígito.

ejemplo de ejecución del algoritmo PaLM explicando un chiste
Ejemplo de ejecución del algoritmo PaLM explicando un chiste
fuente: Google IA Blog

PaLM mostró capacidades innovadoras en numerosas tareas difíciles. Cuando se probó con otros modelos lingüísticos, PaLM 540B superó el rendimiento de pocos disparos en la comprensión y generación de idiomas cuando se evaluó en 29 tareas de procesamiento del lenguaje natural (NLP) en inglés ampliamente utilizadas. Además, PaLM demostró una impresionante comprensión del lenguaje natural y capacidades de generación en varias tareas de BIG-bench.

Evaluamos PaLM en 29 tareas de procesamiento de lenguaje natural (NLP) en inglés ampliamente utilizadas. PaLM 540B superó el rendimiento de pocos disparos de modelos grandes anteriores, como GLaM , GPT-3 , Megatron-Turing NLG , Gopher , Chinchilla y LaMDA , en 28 de 29 tareas que abarcan tareas de preguntas y respuestas (dominio abierto cerrado- variante de libro), tareas de cierre y finalización de oraciones, tareas de estilo Winograd , tareas de comprensión de lectura en contexto, tareas de razonamiento de sentido común, tareas de SuperGLUE y tareas de inferencia de lenguaje natural.

fuente: Google IA Blog

PaLM exhibió capacidades innovadoras en tareas de razonamiento que requieren aritmética de varios pasos o razonamiento de sentido común. Los LLM anteriores, como Gopher , vieron menos beneficios de la escala del modelo en la mejora del rendimiento.

Tests y resultados de PaLM 540B

PaLM ha demosteado una impresionante comprensión del lenguaje natural y capacidades de generación en varias tareas. Por ejemplo, el modelo puede distinguir causa y efecto, comprender combinaciones conceptuales en contextos apropiados e incluso adivinar la película a partir de un emoji, entre otros:

  • Entender conceptos
  • Juegos con sinónimos
  • Razonamiento de causas y efectos
  • Contrafactuales
  • Razonamiento que requieren aritmética de varios pasos o razonamiento de sentido común
  • Comprender un chiste y explicarlo
  • Tareas de codificación y tareas de lenguaje natural en un solo modelo
Nicolás Ockier
Nicolás Ockierhttps://ockier.es/quien-soy/
Mi nombre es Nicolás Ockier y soy Senior SEO en Barcelona. Con más de 15 años de experiencia como SEO manager, me he convertido en un solucionador de problemas de marketing digital que determina el contenido que necesita una web en función de las consultas de los motores de búsqueda. Durante años llevo obteniendo excelentes resultados en mercados altamente competitivos.
Artículos Relacionado

DEJA UNA RESPUESTA

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí

Tiempo excedido. Por favor, completa el captcha nuevamente.

LO ÚLTIMO

LO MÁS POPULAR