Mas o que exatamente é essa arquitetura Transformer? De forma simples, ela permite que sistemas de IA transformem pedaços de dados, conhecidos como “tokens”, em outra forma de saída desejada, utilizando uma rede neural. Essa capacidade de “transformar” informações é o que possibilitou o crescimento explosivo da IA moderna. Modelos de linguagem como o GPT-4 e o ChatGPT, por exemplo, são alimentados por variações dessa arquitetura. Além disso, ela também é a força motriz por trás de modelos de síntese de áudio, como o NotebookLM do Google e o Advanced Voice Mode da OpenAI, bem como de modelos de vídeo, como o Sora, e de síntese de imagens, como o Midjourney.
Recentemente, durante o TED AI 2024, realizado em outubro, um dos pesquisadores que esteve à frente desse projeto inovador, Jakob Uszkoreit, compartilhou suas experiências com a Ars Technica. Ele falou sobre o desenvolvimento dos Transformers, o trabalho inicial do Google em grandes modelos de linguagem e sua nova empreitada na computação biológica.
Essas inovações não apenas moldaram o presente da inteligência artificial, mas também abrem portas para um futuro promissor, onde a interação entre humanos e máquinas se torna cada vez mais fluida e natural. A evolução dos Transformers é um exemplo claro de como a pesquisa e a tecnologia podem se unir para criar soluções que transformam a maneira como vivemos e trabalhamos.
Redação Confraria Tech.
Referências:
ChatGPT’s success could have come sooner, says former Google AI researcher
