Attention (Aufmerksamkeit)
Auch: Self-Attention · Aufmerksamkeitsmechanismus
Ein Mechanismus, mit dem ein Modell für jedes Wort bestimmt, welche anderen Wörter im Kontext dafür relevant sind.
Im Satz „Die Bank stand am See, deshalb setzte ich mich auf sie“ hilft Attention dem Modell zu erkennen, dass „sie“ sich auf „Bank“ bezieht – und dass hier eine Sitzbank gemeint ist, kein Geldinstitut.
Attention vergleicht jedes Token mit allen anderen. Der Rechenaufwand wächst deshalb stark mit der Länge des Textes – ein Grund, warum sehr grosse Kontextfenster teuer sind.
Allgemeine Information, keine Rechts- oder Fachberatung.