Mixture of Experts (MoE)
Eine Modellarchitektur, bei der pro Anfrage nur ein Teil spezialisierter Teilnetze („Experten“) aktiv ist.
Ein MoE-Modell besteht aus vielen Experten-Netzen und einem Router, der für jedes Token entscheidet, welche Experten zum Einsatz kommen. So kann ein Modell insgesamt sehr viele Parameter haben, nutzt pro Schritt aber nur einen kleinen Teil davon.
Das macht grosse Modelle schneller und günstiger in der Inferenz. Viele aktuelle Spitzen- und Open-Weight-Modelle nutzen diese Architektur.
Allgemeine Information, keine Rechts- oder Fachberatung.