Os limites foram originalmente estabelecidos depois que vários usuários mostraram o bot agindo de forma estranha durante as conversas. Em alguns casos, identifica-se como “Sydney”. Ele responde acusando perguntas, tornando-se hostil e recusando-se a se envolver com os usuários. Em uma conversa com um repórter do Washington Post, Bode disse que podia “sentir e pensar” e reagiu com raiva quando foi informado de que a conversa foi registrada.
O porta-voz da Microsoft, Frank Shaw, se recusou a comentar além da postagem do blog de terça-feira.
A Microsoft está tentando caminhar na linha tênue entre lançar suas ferramentas no mundo real para gerar propaganda de marketing e obter testes gratuitos e feedback dos usuários, contra o que os bots podem fazer e aqueles que têm acesso a eles podem ser desconfortáveis ou perigosos. A tecnologia não está aos olhos do público. A empresa inicialmente ganhou elogios de Wall Street por lançar seu chatbot antes do arquirrival Google, que até recentemente era visto como líder em tecnologia de IA. Ambas as empresas estão competindo entre si e com empresas menores para desenvolver e exibir a tecnologia.
O Bing Chat ainda está disponível apenas para um número limitado de pessoas, mas a Microsoft está ocupada aprovando mais de uma lista de espera de milhões, tuitou um executivo da empresa. Depois que seu evento de lançamento em 7 de fevereiro foi descrito como uma grande atualização de produto que iria revolucionar a maneira como as pessoas pesquisam online, a empresa desde então fez o lançamento do Bing mais sobre testes e depuração.
Bots como o Bing são treinados na regurgitação de texto bruto selecionado da Internet, que inclui tudo, desde comentários de mídia social a trabalhos acadêmicos. Com base nessas informações, eles são capazes de prever que tipo de resposta a qualquer pergunta faria mais sentido, fazendo com que pareçam estranhos. Os pesquisadores de ética da IA alertaram no passado que esses algoritmos poderosos podem funcionar dessa maneira e que, sem o contexto certo, as pessoas podem pensar que são emocionais ou dar mais crédito às suas respostas do que valem.