Leveraging Large Language Models to Enhance Supervised Classification of Political Incivility on Social Media

Autor principal:
Laia Castro Herrero (Universidad de Barcelona)
Autores:
Martín García Ortiz (Universidad de Barcelona)
Alejandro De la fuente Cuesta (Universidad de Barcelona)
Alex Casadevall Bover (Universitat de Barcelona)
Itzá Camacho De Domingo (Universitat de Barcelona)
Paula Szewach (Barcelona Supercomputing Center)
Yuan Zhang (University of Zurich)
Michael Amsler (University of Zurich)
Programa:
Sesión 8, Sesión 8
Día: viernes, 11 de septiembre de 2026
Hora: 11:00 a 12:45
Lugar: 23

Este trabajo analiza más de cuatro millones de publicaciones de carácter político difundidas entre 2019 y 2023 en cuatro de las principales plataformas de redes sociales y mensajería en España: Facebook, YouTube, Telegram y Twitter/X. El conjunto de datos incluye contenidos generados tanto por actores políticos (líderes de partido, miembros del parlamento e influencers políticos) como por medios de comunicación (generalistas, tradicionales, alternativos y de carácter extremista), abarcando periodos electorales y no electorales, incluida la crisis de la DANA. Esta amplitud y diversidad permiten sustentar el desarrollo de un enfoque de clasificación con un elevado potencial de generalización, basado en un corpus rico y heterogéneo.

Se lleva a cabo una evaluación comparativa de cinco modelos de lenguaje de gran tamaño de código abierto—R1-Distill-Qwen-7B, Gemma-3-27B-Instruct, Llama-3.1-8B-Instruct, Mistral-Small-3.1-21B-Instruct-2503 y QwQ-32B—en su capacidad para clasificar la incivilidad. Las predicciones generadas por los modelos se contrastan con anotaciones humanas consideradas como estándar de referencia (gold standard), atendiendo a las principales dimensiones de la incivilidad.

Más allá de la evaluación en escenarios zero-shot, se examina la escalabilidad del enfoque mediante el entrenamiento de clasificadores supervisados ligeros (basados en SentenceTransformers) bajo dos regímenes: (1) empleando exclusivamente datos anotados por humanos, y (2) utilizando etiquetas generadas por modelos de lenguaje. Los resultados se comparan con el objetivo de determinar si la supervisión débil basada en LLM puede igualar o superar el rendimiento de los modelos entrenados únicamente con datos humanos, al tiempo que permite una clasificación eficiente en términos de coste a gran escala.

Palabras clave: Incivilidad, redes sociales, LLMs, comunicación política