Hej där! Som transformatorleverantör har jag fått många frågor om hur positionskodningar används i en transformator. Så jag trodde att jag skulle ta ett ögonblick att bryta ner det för dig på ett sätt som är lätt att förstå.
Först och främst, låt oss prata om vad en transformator är. Om du är i den elektriska världen som jag är en transformator en enhet som överför elektrisk energi mellan två eller flera kretsar genom elektromagnetisk induktion. Men i samband med maskininlärning är en transformator en typ av neuralt nätverksarkitektur som är riktigt bra på att hantera sekventiella data, som text. Det introducerades i uppsatsen "uppmärksamhet är allt du behöver" och har sedan dess blivit en häftklammer i naturliga språkbearbetningsuppgifter.
Nu, positionskodningar. I en transformator är ingångsdata vanligtvis en sekvens av tokens, som ord i en mening. Men här är saken: själva transformatorarkitekturen har inget byggt - på sätt att förstå ordningen på dessa symboler. Till skillnad från vissa andra neurala nätverksarkitekturer som återkommande neurala nätverk (RNNS) som bearbetar data i följd, bearbetar transformatorn alla tokens i en sekvens samtidigt. Det är där positionskodningar kommer in.
Positionskodningar är ett sätt att injicera positionsinformationen för varje token i sekvensen i modellen. De läggs till inbäddarna i tokens. Tanken är att ge modellen en känsla av var varje token är belägen i sekvensen.
Ett vanligt sätt att generera positionskodningar är att använda sinus- och kosinusfunktioner. Positionskodningen för ett symbol på position (POS) i sekvensen och dimensionen (i) beräknas enligt följande:
För jämn dimensioner ((i = 2k)):
(Pe _ {(pos, 2k)} = \ sin \ vänster (\ frac {pos} {10000^{\ frac {2k} {d_ {modell}}} \ höger))
För udda dimensioner ((i = 2k + 1)):
(Pe _ {(pos, 2k+1)} = \ cos \ vänster (\ frac {pos} {10000^{\ frac {2k} {d_ {modell}}} \ höger))
Här är (d_ {modell}) dimensionen i modellens inbäddningar. Detta tillvägagångssätt har flera fördelar. Först tillåter den modellen att lära sig relativa positioner mellan tokens. Till exempel beror skillnaden mellan positionskodningarna för två tokens endast på deras relativa positioner, inte på deras absoluta positioner i sekvensen. För det andra är det beräkningseffektivt och kan hantera sekvenser av godtycklig längd.
Så, hur använder transformatorn dessa positionskodningar? Tja, efter att positionskodningarna genereras läggs de helt enkelt till element - klokt till tokeninbäddningar. Så om (e_ {pos}) är positionskodningen för tokenet på position (pos) och (t_ {pos}) är token inbäddning, ingången till transformatorns kodare eller avkodare för det tokenet är (i_ {pos} = t_ {pos}+e_ {pos}).
När ingången med positionsinformation har matats in i transformatorn kan självuppmärkningsmekanismen börja fungera. Självuppmärkningsmekanismen gör det möjligt för modellen att väga vikten av olika tokens i sekvensen vid bearbetning av varje token. Med positionskodningarna kan modellen nu ta hänsyn till inte bara den semantiska betydelsen av tokens utan också deras positioner i sekvensen.
Låt oss säga att du arbetar med en textöversättningsuppgift. Utan positionskodningar kan modellen kämpa för att förstå rätt ordning på ord i en mening. Till exempel på engelska har meningen "hunden jagar katten" en annan betydelse än "Katten jagar hunden". Positionskodningar hjälper modellen att skilja mellan dessa två olika sekvenser och generera mer exakta översättningar.
I Electrical Transformer -verksamheten handlar vi också om olika typer av transformatorer för att tillgodose olika behov. Till exempel har vi167 KVA Telefonstångstransformator. Denna typ av transformator är utformad för att installeras på telefonstolpar och är lämplig för vissa applikationer med låg spänningsfördelning.
Vi erbjuder också20kV trefasolja - nedsänkta distributionstransformatorer. Dessa transformatorer används i tre -fas kraftsystem och är nedsänkta i olja för bättre isolering och kylning. Och om du letar efter något med en lägre spänningsgradering, vårt10kV olja - nedsänkta distributionstransformatorerär ett bra alternativ. De används ofta i lokala distributionsnätverk.
Nu, om du är på marknaden för transformatorer, oavsett om det är för din maskininlärningsforskning eller din elektriska infrastruktur, är vi här för att hjälpa. Vi har ett brett utbud av högkvalitativa transformatorer att välja mellan. Vårt team av experter kan hjälpa dig att välja rätt transformator för dina specifika krav. Tveka inte att nå ut till ett samråd och låt oss starta en konversation om dina behov. Vi är redo att arbeta med dig för att hitta de bästa lösningarna.
Referenser:
- Vaswani, A., Shazer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, An, ... & Polosukhin, I. (2017). Uppmärksamhet är allt du behöver. Framsteg i neurala informationsbehandlingssystem,