Segundo os depoimentos de mais de 12 engenheiros, desenvolvedores e pesquisadores que participaram da investigação, ficou claro que o modelo frequentemente inventa frases que nunca foram ditas. Isso é especialmente alarmante no ambiente da saúde, onde a precisão das informações é vital. Um pesquisador da Universidade de Michigan observou que, em 80% das transcrições de reuniões públicas analisadas, o Whisper gerou informações incorretas. Outro desenvolvedor, que não teve seu nome revelado, relatou ter encontrado conteúdo fictício em quase todas as 26 mil transcrições que testou.
O uso da tecnologia de transcrição em ambientes médicos é uma prática que vem crescendo, mesmo diante dos alertas da OpenAI sobre os riscos em “domínios de alto risco”. Atualmente, mais de 30 mil profissionais da saúde utilizam ferramentas baseadas no Whisper para registrar visitas de pacientes. Instituições como a Mankato Clinic, em Minnesota, e o Children’s Hospital de Los Angeles estão entre os 40 sistemas de saúde que utilizam um serviço de copilotagem de IA alimentado pelo Whisper, desenvolvido pela empresa Nabla, que foi ajustado para entender a terminologia médica.
Esse cenário levanta questões importantes sobre a confiabilidade dessas ferramentas e as implicações que suas falhas podem ter na prestação de cuidados médicos. É um lembrete crucial de que, mesmo com avanços tecnológicos, o acompanhamento humano ainda desempenha um papel insubstituível na validação e interpretação das informações, especialmente em situações que envolvem a vida e a saúde das pessoas.
A tecnologia pode ser uma aliada poderosa, mas é fundamental que ela seja utilizada com cautela e responsabilidade, especialmente em contextos sensíveis como o da saúde. Assim, é vital que profissionais e organizações fiquem atentos às limitações dessas ferramentas e se preparem para lidar com as consequências das informações imprecisas que podem surgir.
Redação Confraria Tech.
Referências:
Hospitals adopt error-prone AI transcription tools despite warnings
