BERT explicado: lo que necesita saber sobre este algoritmo de Google
CATEGORIA: Marketing

BERT explicado: lo que necesita saber sobre este algoritmo de Google

Publicado el: 2021-10-15 16:50:00 | 

Compártelo en

Criptomonedas al día:

Recomendado:

Descubra qué es realmente el BERT de Google y cómo funciona, cómo afectará la búsqueda y si puede intentar optimizar su contenido para ello.

La actualización algorítmica más reciente de Google, BERT, ayuda a Google a comprender mejor el lenguaje natural, particularmente en la búsqueda conversacional.

BERT afectará alrededor del 10% de las consultas. También afectará las clasificaciones orgánicas y los fragmentos destacados. ¡Así que esto no es un cambio pequeño!

Pero, ¿sabía que BERT no es solo una actualización algorítmica, sino también un trabajo de investigación y un marco de procesamiento de lenguaje natural de aprendizaje automático?

De hecho, en el año anterior a su implementación, BERT ha provocado una frenética tormenta de actividad en la búsqueda de producción.

El 20 de noviembre, moderé un seminario web de Search Engine Journal presentado por Dawn Anderson , directora general de Bertey.

Anderson explicó qué es realmente el BERT de Google y cómo funciona, cómo afectará la búsqueda y si puede intentar optimizar su contenido para ello.

Aquí hay un resumen de la presentación del seminario web.


¿Qué es BERT en la búsqueda?

BERT, que significa Representaciones de codificador bidireccional de transformadores, es en realidad muchas cosas.

Es más conocido como un ingrediente/herramienta/marco del algoritmo de búsqueda de Google llamado Google BERT, cuyo objetivo es ayudar a la Búsqueda a comprender mejor los matices y el contexto de las palabras en las Búsquedas y relacionar mejor esas consultas con resultados útiles.

BERT es también un proyecto de investigación de código abierto y un artículo académico. Publicado por primera vez en octubre de 2018 como BERT: Entrenamiento previo de transformadores bidireccionales profundos para la comprensión del lenguaje , el artículo fue escrito por Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova.

Además, BERT es un marco de NLP de procesamiento de lenguaje natural que Google produjo y luego abrió de código abierto para que todo el campo de investigación de procesamiento de lenguaje natural realmente pueda mejorar en la comprensión del lenguaje natural en general.

Probablemente encontrará que la mayoría de las menciones de BERT en línea NO se refieren a la actualización de Google BERT.

Hay muchos documentos reales sobre BERT que están llevando a cabo otros investigadores que no están utilizando lo que usted consideraría como la actualización del algoritmo Google BERT.

BERT ha acelerado drásticamente la comprensión del lenguaje natural NLU más que nada y el cambio de Google a BERT de código abierto probablemente haya cambiado el procesamiento del lenguaje natural para siempre.

Las comunidades de ML y NLP de aprendizaje automático están muy entusiasmadas con BERT, ya que se necesita una gran cantidad de trabajo pesado para poder llevar a cabo investigaciones en lenguaje natural. Se ha entrenado previamente en muchas palabras, y en toda la Wikipedia en inglés, 2500 millones de palabras.

Vanilla BERT proporciona una capa de punto de partida preentrenada para redes neuronales en tareas diversas de aprendizaje automático y lenguaje natural.

Si bien BERT ha sido entrenado previamente en Wikipedia, está ajustado en conjuntos de datos de preguntas y respuestas.

Uno de esos conjuntos de datos de preguntas y respuestas en los que se puede ajustar se llama MS MARCO: un conjunto de datos de comprensión de lectura de máquina generado por humanos creado y de código abierto por Microsoft.

Hay preguntas y respuestas reales de Bing (consultas anónimas de usuarios reales de Bing) que se han integrado en un conjunto de datos con preguntas y respuestas para que los investigadores de ML y NLP las ajusten y luego compitan entre sí para construir el mejor modelo.

Los investigadores también compiten por la comprensión del lenguaje natural con SQuAD (Stanford Question Answering Dataset). BERT ahora incluso supera el punto de referencia de razonamiento humano en SQuAD.

Muchas de las principales empresas de inteligencia artificial también están creando versiones BERT:

  • Microsoft amplía BERT con MT-DNN (red neuronal profunda multitarea).
  • Roberto de Facebook.
  • SuperGLUE Benchmark se creó porque el GLUE Benchmark original se volvió demasiado fácil.

¿Qué desafíos ayuda a resolver BERT?

Hay cosas que los humanos entendemos fácilmente que las máquinas realmente no entienden en absoluto, incluidos los motores de búsqueda.

El problema con las palabras

El problema con las palabras es que están en todas partes. Cada vez hay más contenido disponible

Las palabras son problemáticas porque muchas de ellas son ambiguas, polisémicas y sinónimas.

Bert está diseñado para ayudar a resolver oraciones y frases ambiguas que se componen de montones y montones de palabras con múltiples significados.

Ambigüedad y polisemia

Casi todas las demás palabras del idioma inglés tienen múltiples significados. En la palabra hablada, es aún peor debido a los homófonos y la prosodia.

Por ejemplo, «cuatro velas» y «mangos de tenedor» para aquellos con acento inglés. Otro ejemplo: los chistes de los comediantes se basan principalmente en juegos de palabras porque las palabras son muy fáciles de malinterpretar.

No es un gran desafío para nosotros los humanos porque tenemos sentido común y contexto para que podamos entender todas las otras palabras que rodean el contexto de la situación o la conversación, pero los motores de búsqueda y las máquinas no.

Esto no es un buen augurio para la búsqueda conversacional en el futuro.

Contexto de la palabra

“El significado de una palabra es su uso en un idioma.” – Ludwig Wittgenstein, Filósofo, 1953

Básicamente, esto significa que una palabra no tiene significado a menos que se use en un contexto particular.

El significado de una palabra cambia literalmente a medida que se desarrolla una oración debido a las múltiples partes del discurso que una palabra puede tener en un contexto determinado.

Por ejemplo, podemos ver en la oración corta «Me gusta la forma en que se parece al otro». solo utilizando el etiquetador de parte del discurso de Stanford que la palabra «me gusta» se considera como dos partes del discurso (POS) separadas.

La palabra «me gusta» se puede usar como diferentes partes del discurso, incluidos el verbo, el sustantivo y el adjetivo.

Entonces, literalmente, la palabra «me gusta» no tiene significado porque puede significar cualquier cosa que la rodee. El contexto de “me gusta” cambia según los significados de las palabras que lo rodean.

Cuanto más larga sea la oración, más difícil será realizar un seguimiento de todas las diferentes partes del discurso dentro de la oración.

En NLR y NLU

El reconocimiento del lenguaje natural NO es comprensión

La comprensión del lenguaje natural requiere una comprensión del contexto y un razonamiento de sentido común. Esto es MUY desafiante para las máquinas, pero en gran medida sencillo para los humanos.

La comprensión del lenguaje natural no son datos estructurados

Los datos estructurados ayudan a eliminar la ambigüedad, pero ¿qué pasa con el lío en el medio?

No todos o cosas están asignados al gráfico de conocimiento

Todavía habrá muchos vacíos por llenar. Aquí hay un ejemplo.

Como puede ver aquí, tenemos todas estas entidades y las relaciones entre ellas. Aquí es donde entra NLU, ya que tiene la tarea de ayudar a los motores de búsqueda a llenar los vacíos entre las entidades nombradas.

¿Cómo pueden los motores de búsqueda llenar los espacios entre las entidades nombradas?

Desambiguación del lenguaje natural

“Conocerás una palabra por la compañía que mantiene”. – John Rupert Firth, lingüista, 1957

Las palabras que viven juntas están fuertemente conectadas:

  • Co-ocurrencia.
  • La co-ocurrencia proporciona contexto.
  • La co-ocurrencia cambia el significado de una palabra.
  • Las palabras que comparten vecinos similares también están fuertemente conectadas.
  • Semejanza y parentesco.

Los modelos de lenguaje se entrenan en corpus de texto muy grandes o colecciones de muchas palabras para aprender la similitud distribucional…

…y construya modelos de espacio vectorial para incrustaciones de palabras.

Los modelos de PNL aprenden los pesos de las distancias de similitud y relación. Pero incluso si entendemos la entidad (cosa) en sí misma, necesitamos entender el contexto de la palabra

Por sí solas, las palabras individuales no tienen significado semántico, por lo que necesitan cohesión del texto. La cohesión es el vínculo gramatical y léxico dentro de un texto u oración que mantiene unido el texto y le da significado.

El contexto semántico importa. Sin palabras circundantes, la palabra «cubo» podría significar cualquier cosa en una oración.

  • Pateó el balde.
  • Todavía tengo que tachar eso de mi lista de deseos.
  • El balde estaba lleno de agua.

Una parte importante de esto es el etiquetado de parte del discurso (POS):

Cómo funciona BERT

Los modelos de lenguaje anteriores (como Word2Vec y Glove2Vec) crearon incrustaciones de palabras sin contexto. BERT, por otro lado, proporciona «contexto».

Para comprender mejor cómo funciona BERT, veamos qué significa el acrónimo.

B: bidireccional

Anteriormente, todos los modelos de lenguaje (es decir, Skip-gram y Continuous Bag of Words) eran unidireccionales, por lo que solo podían mover la ventana de contexto en una dirección: una ventana móvil de «n» palabras (ya sea a la izquierda o a la derecha de una palabra de destino) para entender el contexto de la palabra.

La mayoría de los modeladores de lenguaje son unidireccionales. Pueden atravesar la ventana de contexto de la palabra solo de izquierda a derecha o de derecha a izquierda. Solo en una dirección, pero no en ambas al mismo tiempo.

BERT es diferente. BERT utiliza modelado de lenguaje bidireccional (que es PRIMERO).

BERT puede ver la oración ENTERA a cada lado de una palabra modelado de lenguaje contextual y todas las palabras casi a la vez.

ER: Representaciones del codificador

Lo que se codifica se decodifica. Es un mecanismo de entrada y salida.

T: transformadores

BERT utiliza «transformadores» y «modelado de lenguaje enmascarado».

Uno de los grandes problemas con la comprensión del lenguaje natural en el pasado ha sido no poder entender en qué contexto se refiere una palabra.

Los pronombres, por ejemplo. Es muy fácil perder la pista de quién está hablando alguien en una conversación. Incluso los humanos pueden tener dificultades para hacer un seguimiento de a quién se refiere alguien en una conversación todo el tiempo.

Eso es algo similar para los motores de búsqueda, pero les cuesta hacer un seguimiento cuando dices él, ellos, ella, nosotros, eso, etc.

Entonces, la atención de los transformadores parte de esto en realidad se enfoca en los pronombres y todos los significados de las palabras que van juntos para tratar de relacionar a quién se le está hablando o de qué se está hablando en un contexto dado.

El modelado de lenguaje enmascarado evita que la palabra objetivo se vea a sí misma. La máscara es necesaria porque evita que la palabra que está enfocada se vea a sí misma.

Cuando la máscara está en su lugar, BERT simplemente adivina cuál es la palabra que falta. Es parte del proceso de ajuste fino también.

¿Con qué tipos de tareas de lenguaje natural ayuda BERT?

BERT ayudará con cosas como:

  • Determinación de entidad nombrada.
  • Implicación textual predicción de oración siguiente.
  • Resolución de correferencia.
  • Respuesta a preguntas.
  • Desambiguación del sentido de la palabra.
  • Resumen automático.
  • Resolución de polisemia.

BERT avanzó los puntos de referencia de última generación (SOTA) en 11 tareas de NLP.


Cómo afectará BERT a la búsqueda

BERT ayudará a Google a comprender mejor el lenguaje humano

La comprensión de BERT de los matices del lenguaje humano marcará una gran diferencia en la forma en que Google interpreta las consultas porque, obviamente, las personas realizan búsquedas con consultas más largas e inquisitivas.

BERT ayudará a escalar la búsqueda conversacional

BERT también tendrá un gran impacto en la búsqueda por voz (como una alternativa al Pygmalion plagado de problemas ).

Espere grandes saltos para el SEO internacional

BERT tiene esta capacidad monolingüística a multilingüística porque muchos patrones en un idioma se traducen a otros idiomas.

Existe la posibilidad de transferir muchos de los aprendizajes a diferentes idiomas, aunque no necesariamente entienda completamente el idioma en sí.

Google comprenderá mejor los ‘matices contextuales’ y las consultas ambiguas

Mucha gente se ha quejado de que sus clasificaciones se han visto afectadas.

Pero creo que probablemente se deba más a que Google de alguna manera mejoró en la comprensión del contexto matizado de las consultas y el contexto matizado del contenido.

Entonces, tal vez, Google podrá comprender mejor los matices contextuales y las consultas ambiguas.

¿Debe (o puede) optimizar su contenido para BERT?

Probablemente no.

Google BERT es un marco de mejor comprensión. No juzga el contenido per se. Simplemente entiende mejor lo que hay ahí fuera.

Por ejemplo, Google Bert podría entender más de repente y tal vez hay páginas que están demasiado optimizadas que de repente podrían verse afectadas por algo más como Panda porque el BERT de Google de repente se dio cuenta de que una página en particular no era tan relevante para algo.

Eso no quiere decir que esté optimizando para BERT, probablemente sea mejor que escriba de forma natural en primer lugar.

Esta publicación ha sido guardado 1 veces por nuestros usuarios.

Compártelo en

Déjanos un comentario

{{ reviewsTotal }}{{ options.labels.singularReviewCountLabel }}
{{ reviewsTotal }}{{ options.labels.pluralReviewCountLabel }}
{{ options.labels.newReviewButton }}
{{ userData.canReview.message }}
Anuncio curso instagram master

Top 5: Los más vistos

Como vender Chatbots a negocios
Como vender Chatbots a negocios
12 marzo 2022
El recuento de usuarios activos de Pinterest sigue cayendo
El recuento de usuarios activos de Pinterest sigue cayendo
4 febrero 2022
Que hace que los mejores sitios web escolares funcionen
¿Que hace que los mejores sitios web escolares funcionen?
10 marzo 2022
Que es ethereum
¿Qué es Ethereum? (ETH)
2 febrero 2022
Instagram esta probando una nueva interfaz de usuario de historias
Instagram esta probando una nueva interfaz de usuario de historias
18 mayo 2022
Anuncio curso instagram master