In the Weights ist eine neue Plattform, die misst, in welchem Maße Personen in den trainierten Gewichten großer Sprachmodelle verankert sind.

Die von Joey Flynn und Thomas Dimson – beide ehemalige OpenAI-Mitarbeiter – entwickelte Website fragt mehrere LLMs ab und ermittelt, ob ein Name allein aus den internen Parametern des Modells reproduziert werden kann. Das Ergebnis wird zu einem Stärke-Score aggregiert. Der maximal erreichbare Wert liegt bei 996. Historische und kulturelle Figuren wie Mozart, Shakespeare oder Taylor Swift erreichen diesen Höchstwert regelmäßig.

Die Plattform macht damit sichtbar, welche Individuen während des Trainingsprozesses als signifikant genug eingestuft wurden, um in den Gewichten – den Milliarden numerischer Parameter eines neuronalen Netzes – dauerhaft kodiert zu werden. Dies entspricht einer reinen Speicherung im Modellgedächtnis ohne Rückgriff auf externe Suchwerkzeuge.

Kleinere Modelle erschweren das Erscheinen in den Ergebnissen erheblich. Die Entwickler weisen explizit auf bekannte Limitationen hin: Modelle können biografische Details halluzinieren, Tippfehler senken den Score, und sehr gebräuchliche Namen führen häufig zu schlechteren Ergebnissen.

Quelle: TechCrunch AI

FAQ

Was genau zeigt der Stärke-Score an?
Er gibt an, wie tief ein Name in den trainierten Gewichten mehrerer großer Sprachmodelle verankert ist und wie zuverlässig das Modell die betreffende Person ohne externe Suche abrufen kann.

Wer hat „In the Weights“ entwickelt?
Die Plattform wurde von Joey Flynn und Thomas Dimson entwickelt, beide ehemalige Mitarbeiter von OpenAI.

Welche Einschränkungen hat das Tool?
LLMs können biografische Details halluzinieren, Tippfehler reduzieren den Score, und häufig vorkommende Namen erhalten oft schlechtere Ergebnisse. Zudem erschweren kleinere Modelle das Erscheinen in den Rankings.