¿Qué son los EMBEDDINGS? | Grandes Modelos de Lenguaje
全トランスクリプト
los grandes modelos de lenguaje como gpt
4 o Bart en realidad no procesan el
texto como lo vemos Nosotros los seres
humanos Y en lugar de ello lo que hacen
es transformarlo a una representación
numérica que se conoce como en beddings
Así que internamente estos modelos lo
que hacen es procesar y generar en
beddings para posteriormente realizar
diferentes tareas de procesamiento del
lenguaje natural Entonces en este vídeo
vamos a entender qué son estos en
vedings y cómo se utilizan para
desarrollar diferentes tipos de
aplicaciones de procesamiento y
generación del lenguaje natural usando
estos grandes modelos de lenguaje Pero
antes de comenzar Los invito a visitar
codificando bits.com en donde
encontrarán la academia online con
cursos de Inteligencia artificial
ciencia de datos y Machine learning que
les permitirán construir su carrera en
estas áreas y todo por una suscripción
mensual de tan solo 10 dólares además se
podrán poner en contacto conmigo si
están interesados en asesorías para el
desarrollo de proyectos o cursos de
formación personalizada Así que listo
comen cemos
para entender Qué son los envendings
Comencemos con un ejemplo sencillo
supongamos que queremos describir la
apariencia de dos personas diferentes
usando algunas características podemos
decir por ejemplo que la primera persona
tiene una altura de unos 72 centímetros
el cabello corto y de color negro su
peso es 67 kilogramos y sus ojos son de
color café y la segunda persona tiene
una altura de un 83 centímetros el
cabello largo y de color castaño su peso
es 78 kilogramos y sus ojos son de color
verde Así que lo que hemos hecho ha sido
tomar el dato original es decir cada
persona y lo hemos representado a través
de cuatro características y si
organizamos estas cuatro características
en un listado lo que tendremos será un
vector de cuatro elementos ahora veamos
cómo lograríamos hacer algo similar pero
usando redes neuronales que son la base
de los grandes modelos de lenguaje Por
ejemplo si queremos hacer un sistema de
verificación de identidad lo que
necesitamos es comparar la imagen del
rostro de una persona con imágenes de
referencia en una base de datos para
determinar si la persona es o no quien
dice ser pues en estos sistemas
realmente no comparamos directamente las
imágenes en lugar de ello lo que se hace
es construir una red convolucional que
es un tipo de red neuronal que procesa
estas imágenes y que la salida genera
una representación vectorial de la
imagen de entrada y esta representación
vectorial que es simplemente un listado
o un arreglo de números es precisamente
lo que se conoce como un en bedding y la
idea es que imágenes con rostros
similares tendrán en beddings similares
e imágenes con rostros diferentes
tendrán en vez diferentes y este
principio nos permitirá construir
precisamente el sistema de verificación
de identidad
y este mismo principio lo podemos
aplicar para el procesamiento y análisis
del lenguaje natural Así que en resumen
y para lo que nos interesa en este vídeo
un en bedding Es una representación
vectorial del dato de entrada y que se
obtiene tras el entrenamiento de una red
neuronal
como acabamos de ver el texto también
puede ser procesado por algún tipo de
red neuronal para generar en beddings y
desarrollar aplicaciones Como por
ejemplo el análisis de sentimientos la
generación de texto o los chat Bots y un
enfoque utilizado hace algunos años era
generar en beddings a partir de palabras
Es decir que la idea era tomar cada
palabra dentro del texto generar un
token que es una representación numérica
inicial de esa palabra de esos toques
hablamos anteriormente en algún vídeo y
después tomar ese token y convertirlo
precisamente en un o una representación
vectorial de esa palabra con este tipo
de envendings usualmente palabras con
significados similares Como por ejemplo
manzana y pera tendrán en vez de
similares pero que a su vez son
diferentes de los envadings para las
palabras perro o gato que tienen un
significado diferente sin embargo en el
lenguaje natural las palabras no se
encuentran aisladas sino que se
encuentran en un contexto en una frase
por ejemplo y dependiendo de ese
contexto una palabra determinada podría
obtener diferentes significados por
ejemplo en las frases debo ir al banco a
retirar dinero y estoy sentado en el
banco la palabra banco tiene
significados completamente diferentes y
ese significado lo establecemos nosotros
los humanos a partir precisamente del
contexto leyendo la totalidad de la
frase esto quiere decir que el uso de
endings a nivel de palabra no es capaz
de capturar la información del contexto
y por tanto en las frases anteriores la
palabra banco tendría el mismo en
bedding en ambos casos lo cual no
resulta ideal Así que como alternativa
al uso de endengs a nivel de palabra los
grandes modelos de lenguaje existentes
actualmente hacen uso de las redes
Transformers que permiten generar en
vedings capaces de capturar la
información del contexto Es decir de la
totalidad del texto de estas redes
Transformers hablo en detalle en un
vídeo anterior pero para resumir la idea
principal podemos decir que una red
Transformer es un tipo de red neuronal
diseñada específica para procesar
secuencias como el texto y que incorpora
algo que se conoce como un mecanismo
atencional Al momento de decidir Cuál
será el envending para una palabra o una
frase lo hace analizando la relación
entre la palabra o la frase y los demás
elementos del texto a diferentes niveles
así que de alguna manera los envenens
usados por estos grandes modelos de
lenguaje intentan imitar la forma como
nosotros los seres humanos interpretamos
el texto con la diferencia de que estos
modelos generan internamente
representaciones vectoriales es decir
arreglos de números correspondientes a
esa palabra a esa frase o a ese texto
que se está procesando la ventaja de
esto es que con los engenerados frases o
textos que tengan significados similares
tendrán representaciones vectoriales
similares por ejemplo frases como me
gustaría conocer las tarifas de vuelos
entre Madrid y Milán o Quiero encontrar
tiquetes de primera clase ida y vuelta
de Nueva York a Miami tienen en beadings
similares pues ambas se refieren por
ejemplo el concepto de tiquetes de avión
mientras que frases como qué aerolíneas
vuelan de Los Ángeles a Tokio o de todas
las aerolíneas que llegan a Hong Kong
Cuál es la más económica se refieren a
un concepto relacionado con el anterior
pero que es ligeramente diferente pues
se enfoca más en la temática de
aerolíneas lo anterior quiere decir que
en vez que son numéricamente similares
equivalen a frases semánticamente
similares es decir con significados muy
parecidos
en la práctica los diferentes grandes
modelos de lenguaje disponibles utilizan
diferentes tamaños para esos en vedings
dependiendo de la forma como hayan sido
entrenados por ejemplo los últimos
modelos de opene usan en 1536 o 2048
elementos mientras otros como Llama por
ejemplo tienen en vez que oscilan entre
los 4.096 y los 8.192 elementos
bien como hemos visto hasta ahora los
envendings del texto son la materia
prima de los grandes modelos de lenguaje
y son lo que ha permitido el desarrollo
de muchas de las aplicaciones de
procesamiento del lenguaje natural que
hemos visto recientemente y los tipos de
aplicaciones que se pueden construir con
este concepto van más allá incluso de
las aplicaciones más conocidas como por
ejemplo chat gpt por ejemplo podemos
usarlos en vedings para realizar lo que
さらにアンロック
無料でサインアップしてプレミアム機能にアクセス
インタラクティブビューア
字幕を同期させ、オーバーレイを調整し、完全な再生コントロールでビデオを視聴できます。
AI要約
動画コンテンツ、キーポイント、および重要なポイントのAI生成された要約を即座に取得します。
翻訳
ワンクリックでトランスクリプトを100以上の言語に翻訳します。任意の形式でダウンロードできます。
マインドマップ
トランスクリプトをインタラクティブなマインドマップとして視覚化します。構造を一目で理解できます。
トランスクリプトとチャット
動画コンテンツについて質問します。AIを利用してトランスクリプトから直接回答を得られます。
トランスクリプトをもっと活用する
無料でサインアップして、インタラクティブビューア、AI要約、翻訳、マインドマップなどをアンロックしてください。クレジットカードは不要です。