In Medias Res

Das Gegenüberstellen der Modelle ist ein wichtiger Bestandteil um ihre Güte zu ermitteln. Auch Testreihen zur bestmöglichen Sucheingabe sind gewinnbringend.

Direktlinks zu den jeweiligen Ergebnissen:
Allgemeine Auswertung.
Teilauswertungen:
- Länge der Eingaben.

Die Auswertung erfolgte teilautomatisiert. Genauere Angaben zu dem Verfahren der allgemeinen Auswertung finden sich im Github Repositorium:

Die Ergebnisse finden sich sowohl dort, als auch graphisch aufbereitet im Folgenden.

Allgemeine Auswertung

Die Ergebnisse decken sich größtenteils mit den Erwartungen, weichen allerdings in gewissen Spezifika ab. Beispielsweise sind längere Eingaben meist zielführender, jedoch konnte das Modell von den Trainingsdaten abstrahieren und kann somit nicht nur Fragen, sondern allgemein mit möglichst genauen Beschreibungen gut umgehen. Allerdings gibt es Ausreißer, beispielsweise konnten die bielectra Modelle außerordentlich gut mit der Eingabe "freier Wille" umgehen. Bei den Modellen convbert und distilbert schnitten erwartungsgemäß die trainierten und feingetunten Varianten am besten ab, für gelectra das trainierte, feingetunte und TSDAE-unterzogene Modell. Lediglich bei bielectra war das Grundmodell etwas besser als das mit den spezifischen Daten trainierte und feingetunte, das an zweiter Stelle steht. Das TSDAE Verfahren konnte in dieser Wertung nicht wirklich überzeugen. Es zeigte sich auch, dass die trainierten Varianten aller Modelle mehr "im Sinne Kants" dachten, auch wenn es schwer ist, das konkret festzumachen. Jedenfalls wurden für die hier implementierte Suche entsprechend der Wertung die Versionen Bielectra, Convbert und Distilbert in trainiert und feingetuned gewählt, für Gelectra wurde trainiert, feingetuned und anschließend mit TSDAE behandelt gewählt. Diese Modelle können zu Beginn der Seite heruntergeladen werden.

Abschließend sei noch Kritik an der Auswertung geäußert: Trotz der Investition einer Menge Zeit ist eine Anzahl von 24 Eingaben zu klein um Ausreißer gut zu relativieren. Daher wäre es sinnvoll weitere Auswertungen durchzuführen. Ich habe festgestellt, dass man sich dem Suchverfahren annähern kann und seine Suchfertigkeiten so verbessern kann. Daher ist die Auswertung also auch kein garant dafür, dass die Ergebnisse für alle genau so aufgeschlüsselt sind. Bei einigen mögen die Ergebnisse besser sein, bei einigen schlechter. Grundsätzlich handelt es sich hierbei jedoch um ein Suchverfahren, nicht um eine generative KI, das heißt um so genauer die gesuchte Stelle beschrieben werden kann, desto besser kann die Maschine die Suche ausführen.

Teilauswertung

Auch für die Teilauswertung gibt es ein Skript auf Github. Die erhobenen Daten werden auf die entsprechenden Kategorien hin geprüft, indem Auswertungen von Eingaben die der Kategorie entsprechen denen gegenübergestellt werden, die ihr klar widersprechen. Bereits vorgenommene Teilauswertungen sind betreffen wie folgend:
- Länge der Eingaben.