Pesquisa aberta · Modelos de fronteira
DeepSeek-V3 e DeepSeek-R1 mostram como arquiteturas Mixture-of-Experts e reinforcement learning em larga escala podem entregar desempenho de ponta com eficiência radical.
01 — Modelos
O V3 é um modelo generalista de linguagem. O R1 parte do V3-Base e aprende a raciocinar com cadeias de pensamento longas.
Modelo Mixture-of-Experts com 671B de parâmetros totais e 37B ativados por token. Combina MLA, treino em FP8 e balanceamento de carga sem perda auxiliar para reduzir custo de treino e inferência.
Modelo de raciocínio treinado com RL em larga escala. O R1-Zero mostrou que cadeias de pensamento podem emergir sem SFT; o R1 adiciona cold start, auto-verificação e um pipeline multiestágio.
02 — Arquitetura
O V3 não ativa os 671B de parâmetros a cada token. Um roteador seleciona especialistas, enquanto a atenção latente comprime o cache e o treino em FP8 reduz o custo computacional.
Comprime chaves e valores em um espaço latente, diminuindo drasticamente o cache KV durante a inferência sem abrir mão de qualidade.
61 camadas com 1 especialista compartilhado e 256 roteados. Apenas 8 especialistas roteados são ativados por token, mantendo a capacidade alta e o custo baixo.
Primeira validação em escala de um treinamento em FP8 para um modelo desse porte, com ganhos de throughput e menor uso de memória.
O modelo prevê múltiplos tokens futuros por passo. O módulo MTP de 14B também pode acelerar a inferência via decodificação especulativa.
1 compartilhado + 8 roteados ativos por token
Do V3 ao R1
O pipeline combina dados de cold start, RL orientado a raciocínio e alinhamento final.
Um pequeno conjunto de cadeias de pensamento de alta qualidade inicia o modelo com formato legível e estável.
Recompensas por correção e formato incentivam auto-verificação, reflexão e cadeias de pensamento mais longas.
Amostras de alta qualidade são selecionadas e usadas em um novo estágio de supervised fine-tuning.
Alinhamento para utilidade, segurança e estilo em tarefas gerais, preservando o comportamento de raciocínio.
03 — Benchmarks
O R1 avança de forma expressiva em matemática, ciência e programação competitiva. O V3 já é forte em linguagem geral e mantém custo de inferência menor.
Valores reportados nos materiais oficiais dos modelos, em Pass@1 salvo indicação contrária. Benchmarks medem tarefas específicas e não substituem avaliação no seu caso de uso. O R1 usa até 32.768 tokens de geração, temperatura 0,6 e top-p 0,95 em benchmarks com amostragem.
04 — Comparativo
Os dois compartilham a mesma base arquitetural. A diferença está no objetivo de treinamento e no comportamento em produção.
| Aspecto | DeepSeek-V3 | DeepSeek-R1 |
|---|---|---|
| Foco | Linguagem geral, chat, geração e produtividade | Raciocínio explícito, matemática e código |
| Origem | Treinado do zero sobre uma base MoE | Parte do DeepSeek-V3-Base |
| Parâmetros | 671B total · 37B ativos | 671B total · 37B ativos |
| Contexto | 128K tokens | 128K tokens |
| Pós-treino | SFT + RL, com destilação de raciocínio | Cold start, RL, rejeição + SFT e RL final |
| Ponto forte | Eficiência de custo e amplitude de tarefas | Cadeia de pensamento e auto-verificação |
| Pesos | Licença do modelo DeepSeek; código MIT | MIT |
| Uso ideal | Chat em escala, resumo, conteúdo e atendimento | Problemas multi-etapa, ciência, código e auditoria de raciocínio |
Você precisa de respostas rápidas e econômicas para cargas gerais de linguagem.
O problema exige decomposição, verificação e múltiplos passos de raciocínio.
05 — Perguntas frequentes
Os modelos têm pesos abertos. O DeepSeek-R1 é distribuído sob licença MIT, enquanto o DeepSeek-V3 usa a licença própria do modelo DeepSeek, com o código sob MIT. Consulte os repositórios oficiais antes de usar comercialmente.
O V3 é otimizado para linguagem geral e eficiência. O R1 é construído a partir do V3-Base e passa por RL em larga escala para produzir cadeias de pensamento longas, auto-verificação e melhor desempenho em matemática, ciência e código.
O modelo possui 671 bilhões de parâmetros, mas a arquitetura Mixture-of-Experts ativa apenas cerca de 37 bilhões por token. Isso reduz o custo de inferência em comparação a um modelo denso do mesmo tamanho.
Os modelos completos de 671B exigem infraestrutura significativa, com múltiplas GPUs de alta memória. Para máquinas menores, existem versões destiladas do R1 de 1,5B, 7B, 8B, 14B, 32B e 70B, baseadas em modelos Qwen e Llama.
Não. É um guia informativo independente, sem vínculo com a DeepSeek. Marcas e nomes pertencem aos seus respectivos proprietários. Os dados são baseados nos repositórios e papers oficiais indicados no rodapé.
É possível conversar pelo chat.deepseek.com, usar a API compatível com OpenAI em platform.deepseek.com ou baixar os pesos no Hugging Face. Nunca coloque chaves de API no código ou em repositórios.
Pesos abertos · Pesquisa reproduzível
Explore os modelos, leia os papers e teste as versões destiladas. A fronteira da IA fica mais interessante quando o conhecimento também é aberto.