Entenda como o ChatGPT funciona debaixo dos panos com essa super aula sobre Transformers. Curso completo de ChatGPT: https://didatica.tech/curso-de-chatgp...

Esse vídeo está organizado da seguinte forma:
00:00 Conteúdo do vídeo
01:16 Word embedding
13:28 Objetivo do transformer
15:17 Prevendo a próxima palavra
17:18 Retroalimentação
20:25 Definindo a entrada do transformer
22:12 Primeira operação do transformer: matrizes Wq, Wk e Wv
24:08 Alinhamento de vetores
28:38 Filtros de significado
30:43 Self-Attention
36:18 Filtrando a Self-Attention
38:15 Matriz z
40:31 Desambiguação
42:31 Multi-Head Attention
45:01 Matriz Wo
47:35 Rede neural profunda
52:56 Multi-Layer Transformer
55:07 Último processo do transformer
57:08 Attention is all you need
58:40 Interpretação sobre o multi-layer
01:04:22 De onde vem a inteligência
01:08:35 Add-norm, positional encoding e máscaras de atenção
01:12:11 Tokenização e multimodalidade
01:15:28 Paralelismo
01:18:47 Total de parâmetros de um GPT
01:24:35 Usando melhor um GPT

Existem muitos vídeos sobre o que é ChatGPT e como ChatGPT funciona, porém a explicação geralmente é superficial. Nesse vídeo nós vamos mergulhar fundo na arquitetura do Transformer, que tem sido a base de todos os modelos mais poderosos de inteligência artificial.

Apesar de ter sido criado pelo Google, a empresa OpenAI foi quem trouxe à tona o poder dos transformers para uso em modelos de conversação (LLMs) com o lançamento do ChatGPT em 2022. Pouco tempo depois, com a explosão de popularidade, diversos concorrentes surgiram e novas versões foram lançadas.

Atualmente, o ChatGPT está na versão GPT4o com os modelos o1 performando reasoning. Por baixo dos panos, o que está acontecendo são muitas multiplicações de matrizes, como veremos em detalhes no vídeo.

Discutiremos também de onde a inteligência desses modelos surge, afinal como é possível que o ChatGPT consiga resolver problemas nunca antes vistos? Ao compreender a arquitetura do transformer em detalhes, essas ideias ficarão mais claras.

Para se aprofundar mais na utilização desses modelos e extrair o máximo de benefícios, conheça nosso curso completo de ChatGPT e grandes modelos de linguagem: https://didatica.tech/curso-de-chatgp...

Para quem tem interesse em se aprofundar na parte técnica, conheça nossos 4 módulos de machine learning e deep learning: https://didatica.tech/combo-modulos-i...

#chatgpt