DeepSeek, chatbot chinês, obteve 17% de precisão em auditoria da NewsGuard, ficando atrás de rivais ocidentais como ChatGPT e Google Gemini.
Jornal da Serra, ES
O chatbot da startup chinesa DeepSeek, que promete revolucionar o mercado de inteligência artificial, alcançou apenas 17% de precisão em uma auditoria realizada pela NewsGuard. O resultado coloca a ferramenta em décimo lugar entre 11 concorrentes, incluindo gigantes como ChatGPT da OpenAI e Google Gemini. O desempenho do DeepSeek levantou sérias questões sobre a confiabilidade de suas respostas e a tecnologia por trás do seu funcionamento.
O desempenho do DeepSeek em comparação com seus concorrentes ocidentais é alarmante. Com uma taxa de precisão de apenas 17%, o chatbot ficou atrás de outros modelos de inteligência artificial, como o ChatGPT da OpenAI e o Google Gemini, que apresentaram resultados significativamente melhores. Durante a auditoria da NewsGuard, o DeepSeek repetiu afirmações falsas em 30% das interações e forneceu respostas vagas ou irrelevantes em 53% das solicitações, resultando em uma taxa de reprovação de 83%.
Esses números são preocupantes, especialmente considerando que a média de falhas dos concorrentes ocidentais é de 62%. A expectativa era que o DeepSeek, que se autodenomina uma alternativa mais econômica e eficiente, pudesse competir em pé de igualdade com esses gigantes da tecnologia. No entanto, os resultados da auditoria levantam dúvidas sobre a eficácia da tecnologia de IA que a startup chinesa afirma ter desenvolvido.
Além disso, a auditoria aplicou as mesmas 300 solicitações que foram usadas para avaliar seus pares ocidentais, o que torna a comparação ainda mais relevante. A falta de precisão do DeepSeek pode impactar sua aceitação no mercado, especialmente em um momento em que a confiança em ferramentas de IA é crucial para os usuários e empresas.
Com a crescente preocupação sobre a qualidade das informações geradas por chatbots, o desempenho do DeepSeek pode ser um sinal de alerta para a indústria de inteligência artificial, que busca constantemente melhorar a confiabilidade e a precisão de suas ferramentas.
As implicações do resultado da auditoria da NewsGuard para a inteligência artificial são profundas e multifacetadas. A baixa taxa de precisão do DeepSeek não apenas levanta questões sobre a confiabilidade do chatbot, mas também provoca um debate mais amplo sobre a qualidade das tecnologias de IA disponíveis no mercado. Com a crescente adoção de chatbots e assistentes virtuais em diversas áreas, desde atendimento ao cliente até a geração de conteúdo, a precisão das informações fornecidas por essas ferramentas se torna cada vez mais crítica.
O fato de o DeepSeek ter repetido afirmações falsas em 30% das interações e ter dado respostas irrelevantes em 53% das solicitações sugere que a tecnologia ainda precisa de melhorias significativas. Isso pode afetar a confiança dos usuários em soluções de IA, levando a uma resistência maior em sua adoção. Se os usuários não puderem confiar nas informações geradas por esses sistemas, o potencial de mercado para a IA pode ser severamente limitado.
Além disso, a situação do DeepSeek pode incentivar outras empresas a reavaliar suas próprias tecnologias e processos de auditoria. A pressão para garantir que os chatbots sejam não apenas eficientes, mas também precisos e confiáveis, pode levar a um aumento nos investimentos em pesquisa e desenvolvimento. Isso pode resultar em inovações que melhorem a qualidade das respostas geradas por IA, beneficiando tanto os consumidores quanto as empresas.
Por fim, a auditoria destaca a necessidade de regulamentação e padrões de qualidade mais rigorosos na indústria de inteligência artificial. À medida que mais empresas entram no mercado, a criação de diretrizes claras pode ajudar a garantir que os produtos oferecidos sejam seguros e eficazes, protegendo os usuários de informações errôneas e potencialmente prejudiciais.
Seu Portal de Notícias da Região Serrana na Grande Vitória.
Veja mais tópicos nos próximos Stories.