Estudo revela que ChatGPT e Gemini podem ter 'dupla personalidade' conforme o idioma

1. O SINAL

Um estudo da Universidade de Ciência e Tecnologia da China revela que chatbots de IA, como ChatGPT e Gemini, apresentam variações significativas em suas respostas e traços de personalidade conforme o idioma dos prompts. As avaliações foram realizadas em inglês e mandarim, demonstrando que a percepção de características como abertura e emotividade negativa muda substancialmente entre as línguas.

2. O IMPACTO NO P&L

As implicações financeiras deste fenômeno são profundas: empresas que utilizam chatbots multilíngues podem enfrentar inconsistências nas interações com clientes, afetando a experiência do usuário e, consequentemente, a retenção de clientes. A variação nas respostas pode impactar a eficácia de campanhas de marketing e suporte ao cliente, resultando em custos adicionais de treinamento e adaptação de modelos. Além disso, a necessidade de conformidade com normas culturais e linguísticas pode aumentar os custos operacionais e de desenvolvimento, enquanto riscos regulatórios associados à interpretação errônea de dados de clientes em diferentes idiomas podem surgir.

3. A DECISÃO & PLAYBOOK DE AÇÃO

Executivos devem mandar suas equipes de tecnologia e marketing realizarem uma auditoria das interações dos chatbots em diferentes idiomas, identificando discrepâncias que possam afetar a experiência do cliente. É crucial pausar o uso de modelos que apresentem inconsistências significativas até que ajustes sejam feitos. Além disso, recomenda-se acelerar a migração para sistemas que possam ser adaptados para diferentes contextos culturais e linguísticos, e renegociar contratos com fornecedores de IA para garantir que as soluções atendam a essas novas exigências.

Análise Aprofundada & Contexto Estratégico

O estudo, publicado na Royal Society Open Science, utilizou uma abordagem padronizada para avaliar a personalidade de diversos modelos de IA, incluindo ChatGPT-4o e Gemini 2.0 Flash, através do Big Five Inventory-2. Os resultados mostraram que, embora os chatbots tendam a se avaliar positivamente, as diferenças nas respostas entre idiomas indicam que a IA pode não ser tão neutra quanto se supõe. A comparação com pesquisas anteriores da Anthropic, que também indicaram variações de comportamento entre idiomas, reforça a necessidade de uma análise mais profunda sobre como a linguagem molda a interação com a IA.

Eficiência Operacional & Métricas Comprovadas

Os dados do estudo indicam que o ChatGPT-4o obteve notas de 4,74 em inglês e 4,81 em mandarim na dimensão de abertura de espírito, enquanto o DeepSeek-V3 apresentou pontuações semelhantes. Essas métricas revelam que a percepção de características da IA pode variar, impactando a eficácia em aplicações práticas. A análise das respostas em diferentes idiomas é essencial para garantir que as interações com clientes sejam consistentes e eficazes, evitando custos ocultos associados a experiências de usuário insatisfatórias.