Interrater-Reliabilitätskoeffizienten: Analysen und Simulationen
Im Rahmen dieser Bachelorarbeit sollen verschiedene Interrater-Reliabilitätskoeffizienten untersucht werden. Die Koeffizienten ermöglichen die Bewertung der Übereinstimmung von mehreren Codierern, die z.B. Texte manuell für maschinelle Lernverfahren annotieren/codieren/taggen. Ein Beispiel für im Lehrstuhl erfolgte Codierungen finden Sie in der Publikation What to Do with an Airport? Mining Arguments in the German Online Participation Project Tempelhofer Feld in Abschnitt 3.4
Die Arbeit umfasst mindestens diese Teilaufgaben:
- Eigenständige Einarbeitung in die verschiedenen Koeffizienten
- Implementierung von mindestens 10 Interrater-Reliabilitätskoeffizienten wobei davon mehrere vorgegeben werden, wie z.B:
- Cohens Koppa
- Fleiss Kappa
- Krippendorffs Alpha
- Krippendorrfs alpha_u
- Entwicklung eines Simulationsframeworks
- Generierung verschiedener Testdatensätze anhand von Parametern wie Anzahl der Codierungen, Textlänge usw.
Anforderung:
- gute Programmierkenntnisse in C# (bevorzugt), Python oder Java
- selbstständiges Arbeiten
- hohe Motivation
Bereich:
E-Mail senden