AI Quality Analyst (m/w/d), Personalisierung (Deutsch)

Sie beurteilen, wie ein Dialogmodell Informationen aus früheren Gesprächen und verknüpften Aktivitäten nutzt, um Antworten relevanter und nützlicher zu gestalten. Die Arbeit erfordert sehr gutes schriftliches Deutsch, sorgfältiges logisches Denken, die kreative Erstellung von Prompts und die genaue Prüfung feiner Unterschiede in KI-Antworten.

• Erstellen Sie realistische Gespräche über mehrere Runden, die in der Regel ein bis fünf Gesprächsrunden umfassen, und bringen Sie dabei persönliche Erfahrungen und Hintergrundinformationen ein.
• Prüfen Sie, ob Antworten Personalisierung angemessen einsetzen, und identifizieren Sie unbelegte Behauptungen, mangelhafte Schlussfolgerungen, Halluzinationen oder erzwungene Zusammenhänge.
• Bewerten Sie den Bezug zu den Gesprächsinhalten, die Einbindung, die Nützlichkeit, die Benutzerfreundlichkeit, die Freude an der Interaktion, die Natürlichkeit und die übermäßige Ausführlichkeit.
• Vergleichen Sie zwei Modellantworten direkt miteinander und verfassen Sie klare Begründungen, die auf bestimmte Gesprächsbeiträge verweisen.
• Extrahieren und verifizieren Sie unterstützende Informationen, um zu prüfen, ob Zusammenfassungen und relevante Datenquellen korrekt verwendet wurden.
• Verfassen Sie detaillierte Anmerkungen und konstruktives Feedback und löschen Sie die bewerteten Gespräche nach der Überprüfung, um die Datenqualität zu wahren.

Vergütung und Anforderungen

Dies ist eine freiberufliche Remote-Tätigkeit in Teilzeit, die voraussichtlich drei Monate dauern wird. Sie arbeiten eigenständig mit einem Desktop-PC oder Laptop und einer zuverlässigen Internetverbindung.

• Vergütung: $15 pro Stunde.
• Verfügbarkeit: Mindestens 20 Stunden pro Woche, mit mindestens vier Stunden pro Tag und bis zu 40 verfügbaren Stunden pro Woche, einschließlich vier Stunden Überschneidung mit der Pacific Time.
• Standort: Weltweit.
• Sprache: Sehr gute Lese- und Schreibfähigkeiten in Deutsch.
• Erfahrungsstufe: Mittleres Niveau.
• Sie müssen in der Lage sein, kreative Prompts zu erstellen, die das Modellverhalten unter Verwendung von persönlichem Kontext testen.
• Sie müssen fehlerhafte Personalisierung, unbelegte Schlussfolgerungen und die unnatürliche Verwendung persönlicher Daten erkennen.
• Sie benötigen einen klaren, prägnanten und strukturierten Schreibstil sowie eine präzise, evidenzbasierte Argumentation.
• Sie müssen bereit sein, ein primäres persönliches Konto zu verwenden und relevante persönliche Datenquellen für die Evaluierung zu aktivieren.
• Ein Abschluss oder gleichwertige Erfahrung in den Bereichen Politik, Recht, Ethik, Linguistik, Journalismus, Informatik oder einem verwandten analytischen Bereich ist hilfreich.
• Erfahrung mit Datenannotation, KI-Qualitätsevaluierung, Inhaltsmoderation oder ähnlichen Überprüfungstätigkeiten ist von Vorteil.

So funktioniert es

Bewerben Sie sich auf OpenTrain mit Ihrem Lebenslauf und schließen Sie die Bewerbung anschließend auf der Karriereseite ab. OpenTrain ist eine Plattform, auf der Personen Projekte für KI-Training und Datenannotation finden, ein Profil erstellen und den Bewerbungsprozess einleiten können.

Über die Arbeit im KI-Training

KI-Training ist die menschliche Arbeit hinter der künstlichen Intelligenz. Mitwirkende schreiben Prompts, überprüfen Modellantworten und bewerten die Qualität, damit KI-Systeme genauere und nützlichere Antworten geben können. Erfahrene Prüfende werden dafür bezahlt, dass sie Sprachkenntnisse, sorgfältiges Urteilsvermögen und Fachwissen in diesen Prozess einbringen.