[ad_1]
Meta startet ein neues generatives KI-Tool zur Verbesserung der Genauigkeit von KI-Antworten
Meta versucht das Problem anzugehen, dass generative KI-Tools ungenaue oder irreführende Antworten produzieren, indem es selbst KI verwendet. Dies geschieht über einen neuen Prozess, den sie „Shepherd“ nennen.
Shepherd LLM – Eine kritische Überprüfung von Modellantworten
Das neue Shepherd LLM von Meta ist dazu konzipiert, Modellantworten zu überprüfen und Verbesserungsvorschläge zu machen, um genauere generative KI-Ergebnisse zu erzielen. Die Methode basiert auf einem hochwertigen Feedback-Datensatz, der aus Community-Feedback und menschlichen Annotationen zusammengestellt wird. Obwohl Shepherd eine Größe von nur 7 Milliarden Parametern hat, sind seine kritischen Überprüfungen entweder gleichwertig oder bevorzugt im Vergleich zu etablierten Modellen wie ChatGPT. Bei der Evaluierung mit GPT-4 erreicht Shepherd im Durchschnitt eine Siegesrate von 53-87% im Vergleich zu konkurrierenden Alternativen. In menschlichen Bewertungen übertrifft Shepherd andere Modelle eindeutig und liegt im Durchschnitt gleichauf mit ChatGPT.
Die automatisierte Rückmeldung von Shepherd hilft dabei, festzustellen, warum generative KI-Ergebnisse falsch sind, und leitet Benutzer an, um weitere Informationen zu erhalten oder Details zu klären.
Integration in den Haupt-KI-Modell
Allerdings stellt sich die Frage, warum diese kritische Überprüfung nicht direkt in das Haupt-KI-Modell integriert wird, um bessere Ergebnisse zu erzielen, ohne diesen zusätzlichen Schritt. Das Ziel ist natürlich, generative KI-Systeme dazu zu zwingen, ihre falschen oder unvollständigen Antworten neu zu bewerten, um bessere Antworten auf Benutzeranfragen zu liefern.
OpenAI behauptet bereits, dass ihr GPT-4-Modell deutlich bessere Ergebnisse erzielt als die derzeit kommerziell verfügbaren GPT-Systeme wie die in der aktuellen Version von ChatGPT verwendeten. Einige Plattformen erzielen auch gute Ergebnisse, wenn sie GPT-4 als Code-Basis für Moderationsaufgaben verwenden und treten dabei oft in direkte Konkurrenz zu menschlichen Moderatoren.
Dies kann zu großen Fortschritten bei der Nutzung von KI durch soziale Medien führen. Obwohl solche Systeme wahrscheinlich niemals so gut wie Menschen darin sein werden, Feinheiten und Bedeutungen zu erkennen, könnten wir bald automatisierte Moderationen genauso häufig in unseren Beiträgen erleben. Bei allgemeinen Fragen kann ein zusätzlicher Kontrollmechanismus wie Shepherd dazu beitragen, die bereitgestellten Ergebnisse zu verfeinern oder Entwicklern bei der Erstellung besserer Modelle nach Bedarf zu unterstützen.
Letztendlich werden diese Tools immer intelligenter und besser darin, unsere Anfragen zu verstehen. Während generative KI bereits beeindruckende Ergebnisse liefert, nähert sie sich zunehmend ihrer Rolle als zuverlässiges Hilfsmittel an und wird wahrscheinlich auch ein größerer Teil Ihres Arbeitsablaufs werden.
Mehr über Meta’s Shepherd-System finden Sie hier.