Transformer

Der Transformer wurde im Forschungsartikel „Attention Is All You Need“ vorgestellt. Sein Kern ist der Attention-Mechanismus, mit dem das Modell alle Teile einer Eingabe gleichzeitig betrachtet und gewichtet, welche für das Verständnis gerade wichtig sind.

Weil Transformer sich sehr gut parallel auf GPUs trainieren lassen, konnten Modelle erstmals mit gewaltigen Datenmengen skaliert werden. Die Architektur wird heute auch für Bilder, Audio, Video und Proteine genutzt.