[ad_1]
Snap Outlines New Safeguards for its ‘My AI’ Chatbot Tool
Snapchat hat ein Update zur Entwicklung seines Chatbot-Tools „My AI“ vorgestellt, das die GPT-Technologie von OpenAI integriert. Das ermöglicht es Snapchat + Abonnenten, im In-App-Chatbot Fragen zu stellen und Antworten zu bekommen zu allem, was sie wollen. Für die meisten Nutzer ist dies eine einfache und spaßige Anwendung der Technologie. Aber Snap hat einige besorgniserregende Missbräuche des Tools gefunden, weshalb es nun nach weiteren Schutzvorrichtungen und Sicherungen sucht.
Überprüfung von Anfragen und Antworten
Wie von Snap gemeldet, haben sie durch das Überprüfen der frühen Interaktionen mit „My AI“ identifiziert, welche Schutzvorrichtungen gut funktionieren und welche verstärkt werden müssen. Um dies zu bewerten, wurden Überprüfungen der „My AI“-Anfragen und Antworten durchgeführt, die „non-konforme“ Sprache enthalten, die definiert wird als jeglicher Text, der Bezüge zu Gewalt, sexuell expliziten Begriffen, illegalem Drogenkonsum, Kindesmissbrauch, Mobbing, Hassrede, abwertende oder voreingenommene Aussagen, Rassismus, Misogynie oder marginalisierte unterrepräsentierten Gruppen enthält. Alle diese Inhalte sind auf Snapchat ausdrücklich verboten.
Alle Nutzer des „My AI“-Tools von Snap müssen den allgemeinen Geschäftsbedingungen zustimmen, was bedeutet, dass jede Anfrage, die in das System eingegeben wird, von Snaps Team zu diesem Zweck analysiert werden kann.
Schutz von Nutzern des „My AI“-Prozesses
Snapchat sagt, dass bisher nur eine geringe Anzahl von „My AI“-Antworten unter dem Banner „non-konform“ gefallen sind (0,01%), jedoch wird diese zusätzliche Forschungs- und Entwicklungsarbeit dabei helfen, Snapchat-Nutzer von negativen Erfahrungen im „My AI“-Prozess zu schützen.
„Wir werden weiterhin diese Erfahrungen nutzen, um My AI zu verbessern. Diese Daten werden uns auch helfen, ein neues System einzuführen, um den Missbrauch von My AI zu begrenzen. Wir fügen Open AIs Moderationstechnologie zu unserem bestehenden Werkzeugkasten hinzu, was es uns ermöglicht, die Schwere potenziell schädlicher Inhalte zu bewerten und zeitweise den Zugriff von Snapchat-Nutzern auf My AI zu beschränken, wenn sie den Service missbrauchen.“
Verbesserung von Anforderungen
Snap sagt, dass es auch arbeitet, um auf unangemessene Anfragen von Snapchattern zu reagieren, während es auch ein neues Alterssignal für My AI einführt, das das Geburtsdatum des Snapchatters nutzt. „Selbst wenn ein Snapchatter My AI sein Alter nie in einem Gespräch verrät, wird der Chatbot das Alter des Benutzers berücksichtigen, wenn er mit ihm spricht.“
Snap wird auch bald Daten zur My AI-Interaktionshistorie in seinen Family Center-Tracking aufnehmen, damit Eltern sehen können, ob ihre Kinder mit My AI kommunizieren und wie oft.
Risiken in der Anwendung von AI-Elementen
Obwohl die Fragen, die häufig an My AI gestellt werden, recht harmlos sind, gibt es dennoch ein Bedarf an Schutzvorrichtungen, und Snap sagt, dass es seine Verantwortung ernst nimmt, während es seine Tools in Übereinstimmung mit den sich entwickelnden Best-Practice-Prinzipien entwickelt.
Da generative AI-Tools immer häufiger werden, ist es noch nicht zu 100 % klar, welche Risiken mit ihrer Nutzung verbunden sind und wie wir uns am besten gegen Missbrauch, insbesondere durch jüngere Benutzer, schützen können.
Vorsicht im Einsatz von AI-Elementen
Es gab verschiedene Berichte über die Verbreitung von Fehlinformationen über „Halluzinationen“ innerhalb solcher Tools, die auf misinterpretierten Dateninputs von AI-Systemen beruhen, während einige Benutzer versucht haben, diese neuen Bots in die Irre zu führen, um zu sehen, was möglich ist.
Es gibt definitiv Risiken, weshalb viele Experten bei der Anwendung von AI-Elementen zur Vorsicht raten. Vergangene Woche forderte ein offener Brief, der von mehr als tausend Branchenpersönlichkeiten unterzeichnet wurde, Entwickler auf, die Erkundung leistungsstarker AI-Systeme zu stoppen, um deren potenzielle Verwendung zu bewerten und sicherzustellen, dass sie sowohl vorteilhaft als auch beherrschbar bleiben.
Wir wollen nicht, dass diese Tools zu intelligent werden und zu einer Terminator-ähnlichen Situation führen, in der die Maschinen versuchen, die menschliche Rasse zu versklaven oder auszulöschen. Diese Art der apokalyptischen Szenarien ist seit langem eine kritische Sorge, und schon 2015 wurde durch einen ähnlichen offenen Brief vor diesem Risiko gewarnt.
Zusammenfassung
Es gibt deutliche Risiken bei der Anwendung von AI-Elementen, insbesondere durch jüngere Benutzer. Snap nimmt diese Gefahr ernst, weshalb zusätzliche Schutzvorrichtungen und schnelle Reaktionen auf „non-konforme“ Sprache eingeführt werden sollen. Eltern können bald auch die Nutzung von My AI durch ihre Kinder nachvollziehen. Die meistgestellten Fragen an My AI beziehen sich auf harmlose Themen wie Filme, Sport, Spiele, Haustiere und Mathematik, jedoch bleibt eine Vorsicht im Umgang mit AI-Technologie bestehen.