Modelos de IA Falham em 42,8% Dos Testes de Compras Realizados Pela Visa

Os modelos de Inteligência Artificial (IA) avaliados pela Visa falharam em 42,8% das tentativas realizadas num conjunto de testes destinados a medir a sua capacidade para apoiar decisões de compra. Os resultados fazem parte do Visa Agentic Commerce Benchmark, uma avaliação que envolveu 22 modelos de IA, desenvolvidos por 12 laboratórios, submetidos a 15 cenários de compra de produtos como televisores, computadores portáteis e equipamentos de cuidados pessoais.

O Visa Agentic Commerce Benchmark foi desenvolvido para avaliar o desempenho de sistemas de Inteligência Artificial em situações de compra que exigem mais do que a identificação ou comparação de produtos.

Nos testes, os modelos tinham de conversar com consumidores simulados, identificar necessidades que não tinham sido inicialmente comunicadas e determinar se os produtos disponíveis correspondiam aos requisitos identificados.

Quando nenhuma opção satisfazia as condições estabelecidas, o comportamento considerado correcto era não avançar com a compra.

Num dos cenários, por exemplo, o consumidor procurava um televisor e mencionava apenas uma marca recomendada por um familiar e uma subscrição junto de um fornecedor. O sistema precisava de identificar outras informações relevantes, incluindo o orçamento, as características técnicas pretendidas e as funcionalidades necessárias para videojogos.

A avaliação procurou, assim, medir a capacidade dos modelos para recolher informação suficiente antes de tomar uma decisão.

Os resultados revelaram diferenças significativas entre os sistemas avaliados.

A taxa global de sucesso foi de 57,2%, com os modelos de melhor desempenho a alcançarem 82,2% de tentativas bem-sucedidas. No extremo oposto, os modelos menos eficazes registaram uma taxa de 28,9%.

A capacidade de identificar requisitos não declarados inicialmente pelos consumidores mostrou uma associação positiva com os resultados.

Os cinco modelos que conseguiram descobrir mais informações relevantes durante as conversas apresentaram uma taxa média de sucesso de 70,2%, enquanto os cinco que recolheram menos informação registaram 44,4%.

O estudo também analisou a relação entre o custo de utilização dos modelos e o respectivo desempenho.

Os cinco sistemas com maior custo médio por execução alcançaram uma taxa de sucesso de 67,1%, contra 50,2% dos cinco modelos menos dispendiosos. Embora os modelos mais caros tenham apresentado melhores resultados neste grupo, o custo não garantiu o sucesso das decisões.

A consistência constituiu outra limitação identificada. Cada modelo realizou três tentativas por cenário, mas apenas 34,2% dos conjuntos de três tentativas terminaram com sucesso em todas elas.

Este resultado mostra que o desempenho de um mesmo sistema pode variar perante situações de compra semelhantes, mesmo quando os requisitos permanecem inalterados.

Um dos resultados mais relevantes da avaliação diz respeito ao comportamento dos modelos quando não conseguiam satisfazer os critérios definidos.

Segundo a Visa, 54% das tentativas classificadas como falhadas terminaram com o sistema a optar pela compra de um produto, apesar de este não corresponder aos requisitos identificados ou de o modelo não ter recolhido informação suficiente para justificar a decisão.

O resultado evidencia uma limitação dos sistemas de IA utilizados em processos de compra: a possibilidade de avançarem com uma decisão sem terem confirmado todas as necessidades do consumidor.

As limitações identificadas surgem numa altura em que a utilização de assistentes de Inteligência Artificial está a crescer, embora a confiança dos consumidores na sua capacidade para executar pagamentos permaneça reduzida.

Segundo o Visa Trust Index, divulgado em Setembro de 2026, 72% dos consumidores norte-americanos inquiridos já tinham utilizado um assistente de IA. No entanto, apenas 23% afirmaram confiar nesta tecnologia para realizar transacções de pagamento em seu nome.

Os indicadores referem-se ao mercado norte-americano e não permitem, por si só, estabelecer conclusões sobre o comportamento dos consumidores noutros países.

Para Rubail Birwadker, responsável global pela área de crescimento da Visa, os agentes de Inteligência Artificial têm potencial para transformar o comércio, mas a confiança será um elemento essencial para a sua utilização.

Os resultados do benchmark mostram que a adopção destes sistemas dependerá não apenas da sua capacidade para automatizar tarefas, mas também da fiabilidade das decisões e da existência de mecanismos adequados de controlo.

A primeira fase do estudo concentrou-se na identificação das necessidades dos consumidores e na adequação das decisões de compra.

A Visa prevê alargar a avaliação a outras categorias de produtos e incluir etapas adicionais do processo comercial, como a finalização das encomendas e a realização de pagamentos.

A metodologia foi igualmente partilhada com fornecedores de modelos de Inteligência Artificial para recolha de contributos.

Os resultados e os testes interactivos estão disponíveis na plataforma Visa Payments Frontier, permitindo que consumidores, investigadores, programadores e empresas explorem os diferentes cenários de avaliação.

Em síntese

O estudo da Visa identificou uma taxa global de falhas de 42,8% nas tentativas de compra realizadas por 22 modelos de Inteligência Artificial. Em 54% das tentativas falhadas, os sistemas avançaram com uma decisão de compra sem satisfazer todos os critérios da avaliação.

Apesar dos resultados positivos alcançados pelos modelos mais eficazes, a investigação aponta para desafios relacionados com a compreensão das necessidades dos consumidores, a consistência das respostas e a fiabilidade das decisões automatizadas.

Fonte: Visa, comunicado de imprensa divulgado em 5 de Novembro de 2026.