El equipo de Chequeado, el sitio de verificación de datos pionero en Argentina, está respondiendo dos grandes preguntas ante muchos periodistas.
¿Cómo pueden las redacciones utilizar la inteligencia artificial generativa para ayudar a contar historias? Y, ¿les gustará a los lectores?
Para ello, Chequeado creó un laboratorio de inteligencia artificial donde realizan experimentos utilizando modelos de inteligencia artificial y la ayuda de sus lectores.
“El espíritu central del Laboratorio es compartir el conocimiento que generamos sobre Inteligencia Artificial generativa y generar un aporte a la comunidad de fact-checkers y a la comunidad de periodistas y medios, y todo aquel que trabaje con inteligencia artificial”, dijo Eduardo Ceccotti, director de comunicación de Chequeado, a LatAm Journalism Review (LJR).
En su primer experimento, un equipo interdisciplinario de periodistas, programadores, sociólogos y contadores instruyó a cuatro modelos de lenguaje de IA simplificar seis artículos de noticias sobre economía, estadísticas y elecciones, de modo que un estudiante de secundaria pudiera entenderlos. El mensaje también instruía a los modelos de lenguaje GPT-4, Claude Opus, Llama 3 y Gemini 1.5 a conservar la información relevante, no introducir información nueva y respetar el estilo, las fuentes y el formato del texto original.
Los textos entregados por los modelos tuvieron dos evaluaciones. La primera fue una manual, hecha por el equipo del Laboratorio para determinar qué tanto se cumplieron los requisitos. Con base en esto, el equipo le dio a los modelos calificaciones de alto, medio o bajo dependiendo de qué tanto se cumplieron las peticiones hechas por el equipo.
La segunda evaluación consistió en una encuesta respondida por 15 lectores quienes debían elegir su preferencia entre los textos simplificados generados por los modelos de IA y uno hecho por un periodista. Después de cinco rondas, estos lectores debían elegir entre dos textos simplificados, o declarar un empate. Los dos textos podían ser dos textos creados por dos modelos o podían ser uno creado por un modelo y otro hecho por un periodista.
De acuerdo con estas encuestas, el Laboratorio encontró que la mayoría de usuarios prefería los textos simplificados de los modelos Claude Opus y Gemini 1.5, seguidos por la versión el periodista, y los otros dos modelos quedaron en cuarto y quinto lugar.
Los lectores eligieron sus favoritos no sólo basándose en el contenido del texto, sino también en el formato en el que se presentó, dijo Ceccotti. Los usuarios prefirieron el texto presentado en viñetas y secciones de preguntas y respuestas.
“Esa es una de las primeras conclusiones que tenemos con estos primeros análisis del experimento del laboratorio”, dijo Ceccotti.
Sin embargo, como señala Ceccotti, los formatos preferidos por los usuarios no eran los modelos que mejor habían cumplido con lo solicitado por el equipo del Laboratorio. Por ejemplo, un modelo incluyó información adicional (realizó resúmenes no pedidos), y otro modelo no incluyó las fuentes originales.
Otra de las conclusiones de este experimento tiene que ver con la necesidad de ofrecer prompts muy precisos para los modelos, dijo Ceccotti. En este caso, el Laboratorio intentó con tres diferentes para analizar cuál les ofrecía mejores resultados. También la rapidez con la que se pueden obtener estos resultados es un aspecto que destaca el equipo aunque siempre aclarando que es necesaria una revisión humana posterior.
Aunque Ceccotti aclaró que estos resultados no pretenden ser “una muestra científica” sí cree que son el inicio para obtener información que lleven a conclusiones que puedan ser utilizadas en las redacciones.
A mediados de julio, Chequeado presentó estos resultados durante la SIPConnect 2024, la conferencia anual de la Sociedad Interamericana de Prensa (SIP) que este año se reunió para hablar de las transformaciones digitales de los medios, especialmente las causadas por la inteligencia artificial. Asimismo, próximamente compartirán un conversatorio con la comunidad de Journalism AI, y los hicieron públicos en su blog y en su newsletter ChequIAdo Innovación.
El equipo de Chequeado utiliza la IA desde hace varios años. En 2016, crearon un bot llamado Chequeabot, para ayudar a acelerar su lucha contra la desinformación. Ahora tienen muchas más herramientas para verificar los hechos mejor, más rápido y con mayor alcance, dijo Ceccotti.
“La dinámica y la velocidad en la que avanzan los desarrollos de inteligencia artificial puede provocar que no necesariamente todas las organizaciones o todos los medios o todos los investigadores o periodistas tengan el tiempo y los recursos para dedicarse a investigar cómo utilizar eficientemente la inteligencia artificial; y a lo mejor cuando lo descubrimos ya cambió”, dijo Ceccotti.
El equipo continúa preguntándose cómo pueden usar la IA para combatir la desinformación y crearon su laboratorio de IA. Lo lanzaron con la ayuda del fondo Engage, apoyado por la International Fact-Checking Network (IFCN). Para lograrlo, Chequeado tuvo que competir con más de 80 propuestas.
“Su propuesta de iniciar un laboratorio de inteligencia artificial para aplicar la IA a la verificación de datos fue a la vez emocionante e impresionante”, le dijo a LJR, Angie D. Holan, directora de la IFCN.
“Creemos que esta inversión en el trabajo de Chequeado generará beneficios y conocimientos para toda la comunidad de verificación de datos, siendo el objetivo final un ecosistema de información mejorado y un público más informado”, agregó.
El Laboratorio ya trabaja en un segundo experimento que esta vez se enfoca en ver cómo los modelos de IA responden en la creación de hilos de noticias para la red social X.
