texas-moody

Projetos de IA generativa produzem notícias em línguas indígenas no Peru

O meio digital de jornalismo investigativo Ojo Público se caracteriza por desenvolver projetos tecnológicos inovadores desde a sua fundação. Mas em 2023, o meio quebrou mais uma barreira: utilizou essa experiência para ajudar a satisfazer as necessidades de informação de um setor esquecido da população peruana: as comunidades indígenas.

O Ojo Público desenvolveu o Quispe Chequea, uma ferramenta que utiliza recursos generativos de inteligência artificial para produzir conteúdo de verificação jornalística em texto e áudio em idiomas nativos. O veículo está utilizando a ferramenta para facilitar a geração de informações em pequenas redações de comunidades indígenas no Peru, principalmente estações de rádio.

“No âmbito da evolução dos projetos de verificação promovidos pelo Ojo Público, detectamos que era necessário facilitar a geração de conteúdos para estas comunidades e para que os comunicadores regionais aplicassem a metodologia de verificação, mas também algum recurso que lhes permitisse gerar conteúdo de forma rápida e eficiente”, disse David Hidalgo, diretor executivo do Ojo Público, à LatAm Journalism Review (LJR).

Foi durante a pandemia de Covid-19 que o Ojo Público começou a colaborar com rádios comunitárias de pelo menos oito regiões dos Andes peruanos e da Amazônia para produzir material verificado traduzido para línguas indígenas. Os veículos perceberam que estas comunidades eram o grupo populacional mais vulnerável à desinformação naquele momento, pois não dispunham de informação em sua língua sobre a doença.

Illustration explaining how the AI-based Quispe Chequea tool works.

O Quispe Chequea tem dois componentes, um para geração de conteúdo verificado em texto e outro para geração de áudio em línguas indígena. (Foto: Captura de tela do Ojo Público)

Com o boom da inteligência artificial generativa nos últimos anos, o Ojo Público pensou em aplicar esta tecnologia para impulsionar ainda mais a sua colaboração com os meios de comunicação comunitários. Em 2023, reuniu uma equipe multidisciplinar que incluía jornalistas, desenvolvedores, cientistas de dados e tradutores para criar o Quispe Chequea, com apoio da Google News Initiative.

A ferramenta é composta por dois componentes: um que tem a ver com a geração de conteúdo verificado em texto e outro que corresponde à geração de áudio em línguas indígenas.

O primeiro componente funciona por meio de um gerenciador de conteúdo capaz de gerar texto utilizando recursos do ChatGPT. O jornalista usuário precisa inserir informações previamente verificadas pela metodologia do Ojo Público, bem como outros elementos de evidência necessários, para que então a ferramenta redija um texto.

Uma vez gerado o texto, um editor deverá revisá-lo e corrigir ou acrescentar informações, conforme julgar necessário, até que o material atenda aos padrões de verificação do meio.

Hidalgo foi claro ao enfatizar que o Quispe Chequea, cujo nome foi retirado do sobrenome Quispe, um dos mais comuns em quechua e cujo significado alude à clareza e transparência, não é uma ferramenta que verifica informações, mas sim organiza os dados inseridos pelo usuário em um texto com características de uma verificação.

“O jornalista não fica apenas sentado esperando que a máquina verifique tudo, mas tem de conhecer e dominar o processo de verificação, incluindo todas as orientações dos padrões internacionais”, disse. “Se você colocar uma fonte ou link errado, a plataforma vai gerar conteúdo com essa informação. Não evitamos a responsabilidade do jornalista. O que esta plataforma faz é fornecer uma solução para que o texto seja gerado muito rapidamente".

A geração do áudio ocorre quando o editor aprova o texto, escolhe o idioma desejado (atualmente a ferramenta é capaz de gerar áudios em espanhol e nas línguas indígenas quéchua, aimará e awajún), e aperta um botão. A plataforma então traduz o conteúdo e gera um arquivo em formato MP3 que emula a narração do locutor.

Porém, gerar voz não foi a parte mais complicada do desenvolvimento da ferramenta. Atualmente existem múltiplas ferramentas tecnológicas de conversão de texto em fala (chamadas de text-to-speech em inglês) capazes de recriar a voz humana com inteligência artificial. Para este projeto, a equipe utilizou o Tacotron 2, software desenvolvido por pesquisadores do Google.

A parte complexa, segundo Hidalgo, foi fazer com que o Quispe Chequea traduzisse os textos para as línguas nativas, para as quais os recursos de tradução existentes eram muito limitados. Para isso, a equipe teve que desenvolver um tradutor como parte da ferramenta. Um grupo de jornalistas do OjoBiónico, a unidade de fact-checking do Ojo Público, e três intérpretes criaram um banco de dados para cada idioma, com milhares de frases comuns para cada língua.

Posteriormente, os intérpretes gravaram cada frase com a voz até obter um banco sonoro de cerca de quatro horas para cada idioma. Com esse material, os desenvolvedores “treinaram” o tradutor, projetado com arquitetura Tacotron 2, o que permitiu à ferramenta converter os textos em áudios nas três línguas indígenas. Após vários ajustes e processos de treinamento, obtiveram um sistema capaz de criar vozes com sonoridade natural.

“Foi um trabalho muito árduo, especialmente coletar dados para treinar esse modelo”, disse Gianella Tapullima, editora de checagem de fatos do Ojo Público. “Usamos frases que obtivemos de uma raspagem das verificações que realizamos ao longo destes anos [nesses idiomas]".

A tradução em awajún, a língua do segundo povo amazônico mais populoso do Peru, representou um esforço adicional. Para as traduções em quéchua e aimará, os desenvolvedores do Quispe Chequea recorreram a recursos do Google Translate, que possui ambas as línguas indígenas em seu sistema. Mas, para awajún, a equipe teve que criar um modelo de tradução automática internamente.

Para isso, foi necessário um banco de dados com mais de 20 mil frases em awajún, língua considerada de poucos recursos digitais, ou seja, de baixa presença no universo digital. Para obter o banco, as frases foram retiradas de algumas das poucas fontes existentes, como uma versão da Bíblia nesse idioma, além de histórias, poemas e documentos governamentais.

“Houve uma investigação prévia por parte da equipe de desenvolvimento sobre se existia uma ferramenta adaptada para linguagens de poucos recursos”, disse Hidalgo. “Constatou-se que houve experiências com o desenvolvimento de um modelo semelhante ao sânscrito. E a partir daí eles o desenvolveram e sugeriram o uso do Tacotron 2".

O Quispe Chequea foi testado perante comunicadores indígenas e elas aprovaram a precisão dos resultados, disse Tapullima. Porém, a equipe pretende melhorar a qualidade do áudio, e para isso no momento estão testando outros softwares, como o FastPitch.

Peruvian journalist David Hidalgo, from Ojo Publico digital news outlet, conducts a training to indigenous journalists about a AI tool.

Desde o início de 2024, o Ojo Público tem realizado um programa de treinamento com 12 estações de rádio das regiões amazônicas e andinas do Peru sobre o uso do Quispe Chequea (Foto: Captura de tela do canal do YouTube do Ojo Público)

“Era importante para nós que a mensagem fosse compreendida”, disse ela. “É claro que há coisas que ainda precisam ser melhoradas, e isso é feito gerando mais dados e expandindo ainda mais a quantidade de dados".

Atualmente, o Ojo Público está realizando um programa de treinamento com 12 emissoras radiofônicas das regiões amazônica e andina do Peru.  O programa não aborda apenas como usar o Quispe Chequea, mas também a metodologia de verificação de fatos do meio.

Uma dessas emissoras é a Rádio Uno, da cidade de Tacna, no Sul do Peru, que atinge diversas comunidades remotas da região andina do país, na fronteira com o Chile e a Bolívia.

Em 2023, a emissora passou a incluir manchetes em aimará em seus resumos de notícias. Com a ajuda de Quispe Chequea, a emissora poderá expandir o conteúdo nesse idioma e, assim, beneficiar as comunidades indígenas que alcança.

“Ter esta plataforma com tradução integral das notícias em aimará aproximaria ainda mais a informação desses setores. A própria Rádio Uno está em dials em áreas remotas em AM, não apenas em FM”, disse Doris Rosas, redatora do site da emissora. “O que poderia ser melhor do que poder ouvi-la em sua linguagem natural?"

Rosas e Fernando Rondinel, gerente da Rádio Uno, são os integrantes da equipe da emissora que participam do treinamento do Quispe Chequea. Rosas disse que os seus colegas cuja língua nativa é o aimará aprovaram até agora a qualidade e precisão das mensagens que a ferramenta transmite.

Embora o Ojo Público tenha contado com o apoio da Google News Initiative para o desenvolvimento da ferramenta, o desafio para este ano, disse Hidalgo, é encontrar um modelo de negócio que a torne sustentável e melhorá-la com a inclusão de mais idiomas, sem aplicar taxas de utilização para os veículos comunitários.

“Acho que [o Quispe Chequea] abre um precedente importante, tanto no país como no mundo. Existe um problema de marginalização dos povos indígenas no desenvolvimento da inteligência artificial”, disse Hidalgo. “Acredito que o projeto ajuda justamente a proporcionar essa diversidade e inclusão das comunidades, e também a preservação das línguas nativas do nosso país".

O avatar que aprendeu quíchua

Illariy é o nome do apresentador do jornal universitário “Letras TV Willakun”, do canal da Faculdade de Letras e Humanidades da Universidade Nacional de San Marcos (UNMSM), em Lima. Illariy fala quéchua, a língua indígena mais falada no país, e graças a isso se tornou uma celebridade entre a comunidade universitária que a assiste todos os dias nas telas do sistema de televisão da instituição.

O curioso é que Illariy não existe na vida real. Ela é um avatar criado com inteligência artificial que apresenta semanalmente notícias de interesse da comunidade universitária.

“Encontramos na inteligência artificial uma ferramenta para perpetuar a tradição e para perpetuar a língua, para evitar a extinção da língua”, disse à LJR Carlos Fernández, professor de Comunicação Social da UNMSM e líder da equipe criativa de Illariy.

O avatar foi criado depois que Fernández e sua equipe produziram um anúncio para a divulgação da Pós-Graduação em Letras da instituição elaborado inteiramente com inteligência artificial. Para essa chamada, o escritor peruano José María Arguedas foi recriado através de ferramentas generativas de voz e vídeo.

Dada a boa recepção do anúncio na universidade, Fernández pensou em fazer algo semelhante para a próxima temporada do “Letras TV Willakun”, que desde 2019 transmite notícias em quéchua para a comunidade universitária. A equipe decidiu então criar um avatar que aparecesse no quadro narrando a notícia. Para isso, usaram o Dall-E, a ferramenta de inteligência artificial da OpenAI (organização que criou o ChatGPT) que gera imagens a partir de texto.

AI-generated avatar Illariy, created by a Peruvian university, tells the news on TikTok.

Illariy, cujo nome significa "amanhecer" em quéchua, é a apresentadora do noticiário "Letras TV Willakun" da Faculdade de Letras da Universidade Nacional Maior de San Marcos (Foto: Captura de tela do TikTok do LetrasTV)

A equipe solicitou que a ferramenta gerasse uma mulher com traços físicos andinos e características da população da região. Além disso, deram-lhe instruções precisas sobre o traje que deveria usar. Foi assim que nasceu Illariy, em 20 de março de 2023, cujo nome significa “amanhecer” em quéchua.

O próximo passo foi fazer com que Illariy falasse quéchua fluentemente sozinha. Para isso, a equipe recorreu ao D-ID, plataforma da empresa israelense de mesmo nome capaz de dar vida a imagens estáticas e falar com base em instruções de texto.

No entanto, eles encontraram um problema.

“Todas as plataformas de inteligência artificial de conversão de texto em voz tinham a particularidade de só terem disponíveis idiomas modernos. Havia espanhol, francês, inglês… Mas o que não existia eram línguas nativas”, disse Fernández. “O quéchua não está na equação das grandes empresas transnacionais de inteligência artificial".

O professor e especialista em tecnologias emergentes aplicadas ao jornalismo teve uma ideia inovadora para contornar o obstáculo. Junto com Óscar Huamán, pesquisador da Cátedra de Língua Quechua da Universidade, eles criaram um modelo fonético de palavras em quéchua, mas escritas com palavras em espanhol.

A equipe introduziu essas palavras no sistema D-ID para fazer Illariy falar. Após várias repetições, por meio de tentativa e erro, eles notaram que essa série de palavras, pronunciadas pelo avatar em espanhol da Nicarágua, soava muito semelhante ao quéchua fluente.

“Então começamos a buscar uma série de equivalências para que o avatar soasse [fiel ao que estava sendo dito] em quéchua apesar de usar espanhol”, disse Fernandez. “Você põe o texto e pela forma como os nicaraguenses têm de pronunciar certas consoantes, soa como quéchua".

Já existem vários exemplos de âncoras de notícias geradas com inteligência artificial na região. Para Fernández, a principal inovação de seu projeto é que, por meio de uma transcrição fonética, possibilitaram que Illariy narrasse a notícia em uma língua nativa.

Huamán, cuja língua nativa é o quéchua, é quem recebe as notas em espanhol da equipe de reportagem, as traduz para o quéchua e as transfere para o modelo fonético. Em seguida, as palavras do modelo são inseridas no sistema e uma primeira versão em áudio das notas é gerada.

“Na edição, tenho que voltar e passar por outro filtro, [para verificar se] tanto a mensagem quanto o som estão ou não coerentes”, disse Huamán.

O linguista disse que, até agora, Illariy tem uma precisão entre 80 e 90% em comparação com o quéchua humano.

“Devido à própria estrutura que tem a língua, as frases têm tonalidade. É isso que está faltando”, disse ele. “Aí você pode melhorar trabalhando com segmentação [de palavras], ou usando letras maiúsculas, e em alguns casos pondo acentos".

Em experimentos, a equipe já fez o avatar falar aimará e awajún, mas até agora as notícias semanais que o avatar divulga são apenas em quéchua.

“O que estamos fazendo aqui podemos recriar com o awajún, com o aymara e com outros dialetos do quéchua, e garantir que essas 48 línguas originais [que existem no Peru] não se percam”, disse Fernández. “As línguas não são apenas palavras, mas também é a identidade cultural que está envolvida".

Em quase um ano, Illariy passou da divulgação de notícias universitárias para a transmidialidade: agora, ensina quéchua no TikTok e tem seu próprio aplicativo na GPT Store, Illariy Willarisunki (“Illariy te conta”), que gera narrações em quéchua a partir de comandos em espanhol.

Peruvian linguist and professor Oscar Huaman speaks in a library.

Óscar Huamán, linguista e professor de quéchua, é responsável por elaborar o modelo fonético que permite que Illariy fale. (Foto: Captura de tela do canal do YouTube da RTV San Marcos)

A equipe planeja melhorar a imagem do avatar e a qualidade de seus movimentos em 2024. Em breve, a personagem poderá passar do público universitário para o público de massa. Fernández disse que a UNMSM está conversando com alguns meios de comunicação tradicionais para colaborarem com Illariy.

Embora o orçamento do projeto seja coberto pela universidade, o professor sublinhou que os custos de produção da Illariy são próximos de zero, exceto os custos das versões premium de algumas ferramentas generativas de inteligência artificial que utilizam, que são relativamente acessíveis. Algumas outras ferramentas, disse ele, foram usadas com períodos de teste gratuitos.

Para Fernández, Illariy também é um exemplo que refuta as crenças de que a inteligência artificial veio para substituir o ser humano em seus empregos. No caso do avatar da UNMSM, pelo contrário, a tecnologia gerou mais trabalho.

“A pessoa que supostamente saiu de seu cargo é Óscar Huamán, a pessoa que anteriormente fazia a locução noticiário”, disse ele. “Mas na verdade Illariy acabou dando mais trabalho para ele, porque agora ele não só tem que traduzir, mas também é responsável pela transcrição fonética".

Traduzido por André Duchiade
Regras para republicação

Artigos Recentes