IA lógica: testando e monitorando modelos de IA usados ​​para combater a desinformação online

Estudo de caso da Logically AI.

Este estudo de caso é focado no uso de IA para detectar desinformação online em grande escala.

Neste estudo de caso, descrevemos nossas abordagens e princípios para construir sistemas de IA confiáveis ​​para detectar desinformação online. Logicamente usa uma estrutura de IA Human in the Loop chamada HAMLET (Humans and Machines in the Loop Evaluation and Training) para permitir o desenvolvimento de tecnologias de IA confiáveis ​​e responsáveis.

Essa estrutura facilita que máquinas e especialistas trabalhem juntos para projetar sistemas de IA com maior confiabilidade, incluindo robustez, generalização, explicabilidade, transparência, justiça, preservação da privacidade e responsabilidade. Nossa abordagem para IA confiável considera todo o ciclo de vida dos sistemas de IA, desde a curadoria de dados até o desenvolvimento de modelos, desenvolvimento e implantação de sistemas e, finalmente, monitoramento e governança contínuos. HAMLET aborda vários níveis de dados e desafios de nível de modelo, a fim de desenvolver soluções eficazes de IA para os problemas do ambiente de informações online. A estrutura permite a coleta de anotações de dados de especialistas, feedback de especialistas, monitoramento de desempenho do sistema de IA e gerenciamento do ciclo de vida.

O gerenciamento de qualidade de dados é inerente para poder lidar com discrepâncias, anomalias e inconsistências de dados de forma eficaz. Lidar com o viés de nível de dados é fundamental para eliminar padrões e modelos ruidosos que fornecem insights enganosos.

O monitoramento do desempenho do modelo de IA e o gerenciamento do ciclo de vida também são críticos para lidar com a natureza dinâmica do ambiente de informações online. Os modelos de IA são entidades de software exclusivas em comparação com o código tradicional e seu desempenho pode flutuar ao longo do tempo devido a alterações na entrada de dados no modelo após a implantação. Depois que um modelo é implantado, ele precisa ser monitorado para garantir que funcione conforme o esperado. Portanto, ferramentas que possam testar e monitorar modelos para garantir seu melhor desempenho são necessárias para mitigar riscos regulatórios, reputacionais e operacionais. Os principais conceitos que devem ser monitorados são os seguintes:

Para monitorar esses riscos, a HAMLET aproveita as práticas recomendadas de automação e do setor em torno das operações de aprendizado de máquina (MLops) para projetar e implementar fluxos de trabalho para detectar automaticamente a degradação do desempenho do modelo.

O estabelecimento da confiabilidade é um procedimento dinâmico. O aprimoramento constante da confiabilidade da IA ​​requer uma combinação de fluxos de trabalho manuais e baseados em automação guiados por estruturas e princípios conceituais. O MLOps fornece um ponto de partida para criar o fluxo de trabalho para uma IA confiável. Ao integrar o ciclo de vida do ML, o MLOps conecta pesquisa, experimentação e desenvolvimento de produtos para permitir o rápido aproveitamento do desenvolvimento teórico da IA ​​confiável. Ele contém as seguintes propriedades que são incorporadas em nossa estrutura HAMLET:

Mais informações sobre os Princípios Regulatórios do Livro Branco da IA.

Nossa abordagem é relevante para os princípios de segurança, proteção e robustez, pois permite o desenvolvimento de tecnologias de IA que adotam as melhores práticas em gerenciamento de segurança de dados, risco de nível de dados e gerenciamento de ameaças. Além disso, nossa abordagem impulsiona a adoção de padrões da indústria para uma IA responsável e confiável. Isso não apenas permite o desenvolvimento seguro e responsável de tecnologias de IA, mas também aumenta sua robustez para lidar com ataques adversários.

Nossa abordagem é relevante para os princípios de transparência e explicabilidade, pois nos permite desenvolver modelos e sistemas de IA compatíveis com os padrões do setor para justiça, responsabilidade, confiabilidade e explicabilidade. Isso garante maior transparência, bem como flexibilidade para uso e desenvolvimento de aplicativos colaborativos.

Nossa abordagem é relevante para os princípios de justiça, pois nos permite desenvolver uma pilha robusta e madura de tecnologia de IA para desenvolver produtos e serviços comerciais que combatem informações incorretas/desinformadas em escala, atendendo à satisfação e confiança do usuário. Reconhecemos expressamente o risco de viés, que informa nossos processos de coleta de conjuntos de dados e envolvimento de equipes interdisciplinares, e significa que nossa abordagem busca ativamente evitar a produção de resultados discriminatórios.