Was ist ein Moderationsmodell?
Mithilfe eines Moderationsmodells können Betreiber von beispielsweise Websites, Chats oder sozialen Plattformen die Inhalte, die von Nutzerinnen und Nutzern veröffentlicht werden, „moderieren“. Dies bedeutet, dass die Inhalte darauf untersucht werden, ob sie schädliche Inhalte enthalten, wie beispielsweise Hassrede, Gewalt oder Selbstverletzung. Das KI-basierte Moderationsmodell soll dabei die Arbeit von menschlichen Content Moderatoren unterstützen.
Was ist besonders an OpenAIs neuem Modell?
OpenAI hat nun sein neues Moderationsmodell „omni-moderation-latest“ angekündigt. Das Modell basiert auf GPT-4o und kann im Gegensatz zu anderen Modellen sowohl Text- als auch Bildeingaben auf schädliche Inhalte untersuchen.
Das neue Modell ist genauer als das vorherige und erzielt auch bei nicht englischsprachigen Eingaben gute Ergebnisse. Neben den GPT-Klassifikationen für schädliche Inhalte, wie beispielsweise Hass, Gewalt und Selbstverletzung bietet das neue Modell auch die Möglichkeit, weitere schädliche Kategorien zu erkennen.
Weitere Verbesserungen des Models beinhalten:
Multimodale Klassifizierung (in Bild und Text) von schädlichen Inhalten in sechs Kategorien
Erkennen von Texteingaben, die Angaben zu kriminellen Handlungen beinhalten
Genauere Bewertungen von nicht-englischen Inhalten
Neben den neuen Funktionen sind die Funktionen auch auf beispielsweise Deutsch, Spanisch, Italienisch, Portugiesisch, Chinesisch, Indonesisch um 42 % genauer als bei der Vorgängerversion auf Englisch.
Das neue Moderationsmodell kann von Entwicklern über die Moderations-API von OpenAI kostenlos genutzt werden.
