Hej där! Jag är leverantör av transformatorer, och idag ska jag prata om hur självuppmärkningsmekanismen i en transformator fungerar. Det kanske låter lite tekniskt, men jag kommer att bryta ner det på ett sätt som är lätt att förstå.
Låt oss börja med grunderna. Transformers är en typ av neural nätverksarkitektur som har revolutionerat området naturligt språkbearbetning (NLP) och andra områden. Självuppmärkningsmekanismen är en av de viktigaste komponenterna som gör transformatorer så kraftfulla.
Vad är självuppmärksamhet?
Självuppmärksamhet är ett sätt för modellen att väga vikten av olika delar av ingångssekvensen vid bearbetning av den. Enkelt uttryckt hjälper det modellen att fokusera på de relevanta delarna av ingången. Föreställ dig att du läser en lång artikel. Du läser inte varje enskilt ord med samma nivå av uppmärksamhet. Du kan ägna mer uppmärksamhet åt de viktigaste meningar, rubriker och relevanta detaljer. Det är exakt vad självuppmärksamhet gör för en transformatormodell.
Hur fungerar det steg för steg?
1. Fråga, nyckel- och värdevektorer
Det första steget i självuppmärkningsmekanismen är att skapa tre typer av vektorer för varje element i ingångssekvensen: fråga (q), nyckel (k) och värde (v) vektorer. Dessa vektorer skapas genom att multiplicera ingången inbäddningar med tre olika viktmatriser.
Låt oss säga att vi har en inmatningssekvens av ord, och varje ord representeras som en vektor. Vi multiplicerar dessa ingångsvektorer med viktmatriserna (w_q), (w_k) och (w_v) för att få respektive fråga, nyckel respektive värde.
[Q = XW_Q]
[K = xw_k]
[V = xw_v]
Här är (x) matrisen för inbäddningar.
2. Beräkna uppmärksamhetsresultat
Därefter beräknar vi uppmärksamhetsresultaten. Vi gör detta genom att ta punktprodukten från frågevektorerna med nyckelvektorerna. POT -produkten mäter likheten mellan frågan och nycklarna.
För varje frågevektor (q_i) i sekvensen beräknar vi uppmärksamhetsresultaten (a_ {i, j}) med alla nyckelvektorer (k_j) i sekvensen.
[a_ {i, j} = q_i \ cdot k_j]
Dessa poäng berättar hur mycket (i) - th -elementet i sekvensen bör uppmärksamma (j) - th -elementet.
3. Skalning och softmax
Uppmärksamhetsresultaten skalas sedan genom att dela dem med kvadratroten av dimensionen av nyckelvektorerna ((\ sqrt {d_k})). Denna skalning hjälper till att förhindra att DOT -produkterna blir för stora, vilket kan göra att lutningarna är instabila under träningen.
[a_ {i, j}^{skalad} = \ frac {a_ {i, j}} {\ sqrt {d_k}}]
Efter skalning tillämpar vi SoftMax -funktionen på de skalade poängen. Softmax -funktionen konverterar poängen till sannolikheter så att de sammanfattar upp till 1.
[\ alpha_ {i, j} = \ frac {\ exp (a_ {i, j}^{skalad})} {\ sum_ {k = 1}^{n} \ exp (a_ {i, k}^{skalad})}]
Här är (\ alpha_ {i, j}) uppmärksamhetsvikten, som representerar vikten av (j) - th -elementet till (i) - th -elementet.
4. Vägt summa av värden
Slutligen beräknar vi utgången från självuppmärkningsmekanismen genom att ta en viktad summa av värdet vektorer. Vi multiplicerar varje värdevektor (v_j) med motsvarande uppmärksamhetsvikt (\ alpha_ {i, j}) och sammanfattar dem för alla (j).
[o_i = \ sum_ {j = 1}^{n} \ alpha_ {i, j} v_j]
Utgångsvektorerna (o_i) är utgången från självuppmärkningsmekanismen för varje element i ingångssekvensen.
Varför är självuppmärksamhet viktig?
Självuppmärkningsmekanismen har flera fördelar. För det första tillåter den modellen att fånga långvariga beroenden i ingångssekvensen. I traditionella neurala nätverksarkitekturer som återkommande neurala nätverk (RNN) är det svårt att fånga beroenden mellan element som är långt ifrån varandra i sekvensen. Självuppmärksamhet kan lätt hantera sådana långa beroenden eftersom det direkt kan beräkna förhållandet mellan två element i sekvensen.
För det andra är egenuppmärksamhet parallelliserbar. Till skillnad från RNN: er, som bearbetar ingångssekvensen i följd, kan självuppmärksamhet bearbeta alla element i sekvensen samtidigt. Detta gör träning och slutsats mycket snabbare, särskilt för långa sekvenser.
Tillämpningar av transformatorer och självuppmärksamhet
Transformatorer med självuppmärkningsmekanismer har använts i ett brett spektrum av applikationer. I NLP används de för uppgifter som maskinöversättning, textgenerering, fråga - svarssystem och sentimentanalys. Till exempel är modeller som Bert och GPT baserade på transformatorarkitekturen.
I datorsyn har egenuppmärksamhet också tillämpats. Det kan användas för att analysera bilder, upptäcka objekt och generera bildtexter för bilder.
Våra transformatorprodukter
Som transformatorleverantör erbjuder vi en mängd olika transformatorer av hög kvalitet. Till exempel har vi167 KVA Telefonstångstransformator, som är lämplig för utomhusapplikationer och kan tillhandahålla tillförlitlig strömförsörjning. VårOlje nedsänkt låg förlusttransformatorär utformad för att minska energiförlusten och har en lång livslängd. Och om du behöver en torr transformator, vår400 kva torr transformatorär ett bra val med utmärkta prestanda och säkerhetsfunktioner.
Om du är intresserad av våra produkter eller har några frågor om transformatorer kan du kontakta oss för en köpförhandling. Vi är här för att ge dig de bästa lösningarna för dina kraftbehov.
Referenser
- Vaswani, A., Shazer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, An, ... & Polosukhin, I. (2017). Uppmärksamhet är allt du behöver. Framsteg i neurala informationsbehandlingssystem.
- Devlin, J., Chang, MW, Lee, K., & Toutanova, K. (2018). Bert: Pre -träning av djupa dubbelriktade transformatorer för språkförståelse. Arxiv Preprint Arxiv: 1810.04805.
- Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (2019). Språkmodeller är oövervakade multitask -elever. Openai -blogg, 1 (8), 9.