A equipe do Chequeado, o site pioneiro de verificação de fatos da Argentina, está respondendo a duas grandes perguntas para muitos jornalistas.
Como as redações podem usar a inteligência artificial generativa para ajudar a contar histórias? E os leitores vão gostar disso?
Para isso, o Chequeado criou um laboratório de inteligência artificial onde realiza experimentos usando modelos de inteligência artificial e conta com a ajuda de seus leitores.
“O espírito central do laboratório é compartilhar o conhecimento que geramos sobre inteligência artificial generativa e gerar uma contribuição para a comunidade de verificação de fatos e para a comunidade de jornalistas e de meios, e para todos que trabalham com inteligência artificial”, disse Eduardo Ceccotti, diretor de comunicações do Chequeado, à LatAm Journalism Review (LJR).
Em seu primeiro experimento, uma equipe interdisciplinar de jornalistas, programadores, sociólogos e contadores instruiu quatro modelos de linguagem de IA a simplificar seis artigos de notícias sobre economia, estatísticas e eleições para que um estudante do ensino médio pudesse entendê-los. A mensagem também instruía os modelos de linguagem GPT-4, Claude Opus, Llama 3 e Gemini 1.5 a manter informações relevantes, não introduzir novas informações e respeitar o estilo, as fontes e o formato do texto original.
Os textos entregues pelos modelos passaram por duas avaliações. A primeira foi manual, feita pela equipe do laboratório para determinar se os requisitos foram atendidos. Com base nisso, a equipe atribuiu aos modelos classificações de alto, médio ou baixo, dependendo de quão bem eles atenderam às solicitações feitas pela equipe.
A segunda avaliação consistiu em uma pesquisa respondida por 15 leitores que tiveram de escolher sua preferência entre os textos simplificados gerados pelos modelos de IA e um feito por um jornalista. Após cinco rodadas, esses leitores tiveram que escolher entre dois textos simplificados ou declarar um empate. Os dois textos poderiam ser dois textos criados por dois modelos ou poderiam ser um criado por um modelo e um feito por um jornalista.
De acordo com essas pesquisas, o Lab descobriu que a maioria dos usuários preferia os textos simplificados dos modelos Claude Opus e Gemini 1.5, seguidos pela versão do jornalista, com os outros dois modelos em quarto e quinto lugar.
Os leitores escolheram seus favoritos não apenas com base no conteúdo do texto, mas também no formato em que ele foi apresentado, disse Ceccotti. Os usuários preferiram textos apresentados em listas de itens destacados e seções de perguntas e respostas.
“Essa é uma das primeiras conclusões que temos com essas análises iniciais do experimento do laboratório”, disse Ceccotti.
No entanto, como Ceccotti ressalta, os formatos preferidos pelos usuários não eram os modelos que melhor atendiam à solicitação da equipe do laboratório. Por exemplo, um modelo incluíu informações adicionais (fazia resumos não solicitados), e outro modelo não incluiu as fontes originais.
Outra conclusão desse experimento tem a ver com a necessidade de fornecer prompts muito precisos para os modelos, disse Ceccotti. Nesse caso, o laboratório experimentou três diferentes para ver qual deles apresentava os melhores resultados. A velocidade com que esses resultados podem ser obtidos também é um aspecto destacado pela equipe, embora esteja sempre claro que a revisão humana é necessária posteriormente.
Embora Ceccotti tenha esclarecido que esses resultados não pretendem ser “uma amostra científica”, ele acredita que eles são o início da obtenção de informações que podem levar a conclusões que podem ser usadas em redações.
Em meados de julho, o Chequeado apresentou esses resultados durante a SIPConnect 2024, a conferência anual da Sociedade Interamericana de Imprensa (SIP), que este ano se reuniu para discutir as transformações digitais na mídia, especialmente aquelas causadas pela inteligência artificial. Em breve, eles também compartilharão uma conversa com a comunidade da Journalism AI e a tornarão pública em seu blog e em sua newsletter ChequIAdo Innovación.
A equipe do Chequeado vem usando a IA há vários anos. Em 2016, eles criaram um bot chamado Chequeabot, para ajudar a acelerar a luta contra a desinformação. Agora, eles têm muito mais ferramentas para verificar os fatos de forma melhor, mais rápida e com maior alcance, disse Ceccotti.
“A dinâmica e a velocidade com que os desenvolvimentos da inteligência artificial estão avançando podem significar que nem todas as organizações, nem todos os meios de comunicação, nem todos os pesquisadores, nem todos os jornalistas têm tempo e recursos para se dedicar à pesquisa de como usar a inteligência artificial de forma eficiente; e talvez quando descobrirmos isso, já tenha mudado”, disse Ceccotti.
A equipe continua a se perguntar como pode usar a IA para combater a desinformação e criou seu laboratório de IA. Eles o lançaram com a ajuda do fundo Engage, apoiado pela International Fact-Checking Network (IFCN). Para conseguir isso, Chequeado teve que competir com mais de 80 outras propostas.
“A proposta deles de criar um laboratório de inteligência artificial para aplicar a IA à verificação de fatos foi empolgante e impressionante”, disse Angie D. Holan, diretora da IFCN, à LJR.
“Acreditamos que esse investimento no trabalho do Chequeado gerará benefícios e conhecimentos para toda a comunidade de verificação de fatos, com o objetivo final de melhorar o ecossistema de informações e tornar o público mais informado”, acrescentou.
O laboratório já está trabalhando em um segundo experimento que, desta vez, se concentra em ver como os modelos de IA respondem na criação de fios de notícias para a rede social X.
