O bot de conversação AI da OpenAI, ChatGPT, foi lançado no ano passado e tornou-se super popular em velocidade recorde graças à sua capacidade de escrever histórias, redigir e-mails e até mesmo gerar código (às vezes, infelizmente, até prejudicial). No entanto, um novo relatório sugere que está custando uma fortuna para a OpenAI mantê-la funcionando no dia-a-dia.
De acordo com a pesquisa da SemiAnalysis, a OpenAI gasta quase US$ 695 por dia para manter bot de bate-papo em funcionamento. Segundo estimativas da empresa, o sistema inclui cerca de mais de 3,6 mil servidores HGX A100 e quase 29 mil GPUs, e o custo por solicitação é de cerca de ¢0,36.
Dylan Patel, analista principal da SemiAnalysis, disse ao Business Insider que os custos atuais de execução do software podem ser ainda maiores, já que a versão GPT-4 provavelmente será mais cara de executar do que seu antecessor, GPT-3. Ele baseou suas estimativas no modelo GPT-3 anterior, mas a OpenAI já lançou uma versão GPT-4 para assinantes pagos. A empresa afirma que o novo modelo oferece informações mais precisas e protege melhor contra respostas incorretas, que eram um problema nas versões anteriores.
Uma das principais razões para os custos exorbitantes são os chips especializados com uso intensivo de energia necessários para operar o sistema. Para resolver este problema, Microsoft está trabalhando em seu próprio chip de inteligência artificial chamado Athena, que pode substituir GPUs NVIDIA e reduzir os custos operacionais do ChatGPT.
Enquanto isso, o ChatGPT já pode gerar código funcional a partir do zero e até gera temores de que possa eventualmente substituir os programadores. No entanto, um estudo recente de um grupo de cientistas sugere que o código gerado pelo chatbot pode não ser muito seguro. O estudo diz que o ChatGPT gera código que está "significativamente abaixo dos padrões mínimos de segurança aplicáveis na maioria das situações". O mais interessante é que o chatbot admite isso quando questionado sobre o quão seguro é o código que ele gera.
Para verificar a qualidade da codificação ChatGPT, os pesquisadores pediram que ele gerasse 21 programas e scripts usando quatro linguagens de programação: C, C++, Python e Java. Em sua primeira tentativa, o chatbot só conseguiu escrever 5 programas seguros, mas depois de algumas sugestões dos pesquisadores, ele criou mais 7 códigos seguros. Os resultados do estudo sugerem que usar o ChatGPT para escrever aplicativos pode ser ineficiente ou mesmo perigoso agora, mas isso pode mudar no futuro.
Leia também:
Wow números para um neurônio grátis!
Na minha vida, nunca teria pensado que fosse tão caro...
Eu também fiquei surpreso. estou até um pouco desconfortável agora Abra o ChatGPT - ainda vou sobrecarregá-lo com meus pedidos)