Home-theater-designers
Les eines d'IA com ChatGPT s'han tornat increïblement populars des que es van llançar. Aquestes eines superen els límits del processament del llenguatge natural (PNL), facilitant que la IA mantingui converses i processi el llenguatge com una persona real.
Com ja sabeu, ChatGPT es basa en el model de transformador generatiu pre-entrenat (GPT). Tanmateix, aquest no és l'únic model pre-entrenat que hi ha.
MAKEUSEO VÍDEO DEL DIA
El 2018, els enginyers de Google van desenvolupar BERT (Bidirectional Encoder Representation from Transformers), un model d'aprenentatge profund pre-entrenat dissenyat per entendre el context de les paraules d'una frase, que li permet realitzar tasques com l'anàlisi de sentiments, preguntes i respostes, etc. i reconeixement d'entitats anomenades amb alta precisió.
Què és BERT?
BERT és un model d'aprenentatge profund desenvolupat per Google AI Research que utilitza l'aprenentatge no supervisat per entendre millor les consultes del llenguatge natural. El model utilitza una arquitectura transformadora per aprendre representacions bidireccionals de dades de text, la qual cosa li permet entendre millor el context de les paraules dins d'una frase o paràgraf.
Això facilita que les màquines interpretin el llenguatge humà tal com es parla a la vida quotidiana. És important esmentar que els ordinadors històricament han tingut dificultats per processar el llenguatge, especialment per entendre el context.
A diferència d'altres models de processament del llenguatge, BERT està entrenat per dur a terme més d'11 tasques comunes de PNL, cosa que la converteix en una opció extremadament popular en els cercles d'aprenentatge automàtic.
En comparació amb altres models de transformadors populars com el GPT-3, BERT té un avantatge diferent: és bidireccional i, com a tal, és capaç d'avaluar el context d'esquerra a dreta i de dreta a esquerra. GPT-3.5 i GPT-4 només tenen en compte el context d'esquerra a dreta, mentre que BERT atén tots dos.
Els models de llenguatge com GPT utilitzen un context unidireccional per entrenar el model, permetent-ho ChatGPT per realitzar diverses tasques. En termes senzills, aquests models analitzaven el context d'entrada de text d'esquerra a dreta o, en alguns casos, de dreta a esquerra. Tanmateix, aquest enfocament unidireccional té limitacions pel que fa a la comprensió del text, causant imprecisions en les sortides generades.
Bàsicament, això vol dir que BERT analitza el context complet d'una frase abans de donar una resposta. Tanmateix, és pertinent esmentar que GPT-3 es va entrenar en un corpus de text considerablement més gran (45 TB) en comparació amb BERT (3 TB).
BERT és un model de llenguatge emmascarat
Una cosa important a saber aquí és que BERT es basa en l'emmascarament per entendre el context d'una frase. Quan es processa una frase, n'elimina parts i es basa en el model per predir i completar els buits.
Això li permet 'predir' el context, essencialment. En frases en què una paraula pot tenir dos significats diferents, això dóna als models de llenguatge emmascarat un avantatge diferent.
Com funciona BERT?
BERT es va formar amb un conjunt de dades de més de 3.300 milions de paraules (confiant en la Viquipèdia per a un màxim de 2.500 milions de paraules) i el BooksCorpus de Google per a 800 milions de paraules.
El context bidireccional únic de BERT permet el processament simultani de text d'esquerra a dreta i viceversa. Aquesta innovació millora la comprensió del model del llenguatge humà, permetent-li comprendre relacions complexes entre les paraules i el seu context.
L'element de bidireccionalitat ha posicionat BERT com un model de transformador revolucionari, impulsant millores notables en les tasques de PNL. Més important encara, també ajuda a descriure la gran habilitat de les eines que s'utilitzen intel·ligència artificial (IA) processar el llenguatge.
què fer amb un ordinador portàtil nou
L'eficàcia de BERT no és només per la seva bidireccionalitat, sinó també per la forma en què es va formar prèviament. La fase prèvia a la formació de BERT va incloure dos passos essencials, a saber, el model de llenguatge emmascarat (MLM) i la predicció de la següent frase (NSP).
Tot i que la majoria dels mètodes de preentrenament emmascaren elements de seqüència individuals, BERT utilitza MLM per emmascarar aleatòriament un percentatge de fitxes d'entrada en una frase durant l'entrenament. Aquest enfocament obliga el model a predir les paraules que falten, tenint en compte el context d'ambdós costats de la paraula emmascarada, d'aquí la bidireccionalitat.
el nivell de la bateria no mostra Windows 10
Aleshores, durant la NSP, BERT aprèn a predir si la frase X segueix realment a la frase Y. Aquesta capacitat entrena el model per entendre les relacions de la frase i el context general, que, al seu torn, contribueix a l'eficàcia del model.
Afinació BERT
Després de la formació prèvia, BERT va passar a una fase d'ajustament, on el model es va adaptar a diverses tasques de PNL, inclosa l'anàlisi de sentiments, el reconeixement d'entitats anomenades i els sistemes de resposta a preguntes. L'ajustament final implica un aprenentatge supervisat, aprofitant conjunts de dades etiquetades per millorar el rendiment del model per a tasques específiques.
L'enfocament de formació de BERT es considera 'universal' perquè permet que el mateix model d'arquitectura abordi diferents tasques sense necessitat de grans modificacions. Aquesta versatilitat és un motiu més de la popularitat de BERT entre els entusiastes de la PNL.
Per exemple, Google utilitza BERT per predir consultes de cerca i per connectar les paraules que falten, especialment pel que fa al context.
Per a què s'utilitza habitualment BERT?
Tot i que Google utilitza BERT al seu motor de cerca, té diverses altres aplicacions:
Anàlisi de sentiments
L'anàlisi de sentiments és una aplicació bàsica de la PNL que s'ocupa de classificar les dades del text en funció de les emocions i opinions incrustades en elles. Això és crucial en nombrosos camps, des del seguiment de la satisfacció del client fins a la predicció de les tendències de la borsa.
BERT brilla en aquest domini, ja que captura l'essència emocional de l'entrada textual i prediu amb precisió el sentiment darrere de les paraules.
Resum de textos
A causa de la seva naturalesa bidireccional i els seus mecanismes d'atenció, BERT pot copsar tots els àpics del context textual sense perdre la informació essencial. El resultat són resums coherents i d'alta qualitat que reflecteixen amb precisió el contingut significatiu dels documents d'entrada.
Reconeixement de l'entitat anomenada
El reconeixement d'entitats amb nom (NER) és un altre aspecte vital de la PNL que té com a objectiu identificar i categoritzar entitats com noms, organitzacions i ubicacions dins de dades de text.
BERT és realment transformador a l'espai NER, principalment per la seva capacitat de reconèixer i classificar patrons d'entitats complexos, fins i tot quan es presenten dins d'estructures de text intricades.
Sistemes de preguntes i respostes
La comprensió contextual i el fonament de BERT en codificadors bidireccionals el fan capaç d'extreure respostes precises de grans conjunts de dades.
Pot determinar eficaçment el context d'una pregunta i localitzar la resposta més adequada dins de les dades de text, una capacitat que es pot aprofitar per a chatbots avançats, motors de cerca i fins i tot assistents virtuals.
Traducció automàtica via BERT
La traducció automàtica és una tasca essencial de PNL que BERT ha millorat. L'arquitectura del transformador i la comprensió bidireccional del context contribueixen a trencar les barreres en la traducció d'un idioma a un altre.
Tot i que es centren principalment en l'anglès, les variants multilingües de BERT (mBERT) es poden aplicar a problemes de traducció automàtica per a nombrosos idiomes, obrint les portes a plataformes i mitjans de comunicació més inclusius.
La IA i l'aprenentatge automàtic continuen superant nous límits
No hi ha dubte que models com BERT estan canviant el joc i obrint noves vies de recerca. Però, el que és més important, aquestes eines es poden integrar fàcilment als fluxos de treball existents.