Author Yudong
ESFT (Expert-Specialized Fine-Tuning, arXiv:2407.01906) 详解：基于 MoE 模型在下游任务上 expert 激活的天然稀疏性，只 fine-tune 任务相关的少数 expert，5-25% 可训练参数即可匹配 Full FT 性能，明显优于 LoRA。
DeepSeek-Prover V1（arXiv:2405.14333）与 V1.5（arXiv:2408.08152）详解：autoformalization 合成数据 + RLPAF + RMaxTS 蒙特卡洛树搜索，把 7B 模型在 Lean 4 形式化证明 benchmark miniF2F 上推到 63.5%，并为后续 R1 reasoning 训练提供方法论起点。
DeepSeek-V2（arXiv:2405.04434）详解：首次提出 MLA (Multi-head Latent Attention) 通过低秩 latent 压缩 + decoupled RoPE + matrix absorption 把 KV cache 砍到 MHA 的 1.76%；236B 总参 / 21B 激活的 MoE 实现 5.76× 吞吐于 67B Dense。
DeepSeek-VL（arXiv:2403.05525）详解：Hybrid Vision Encoder（SigLIP-L + SAM-B 双流编码）+ Real-world 数据策略 + 三阶段训练 pipeline，让 7B 多模态模型在 MMBench 上达到开源 SOTA，同时几乎不退化语言能力。
DeepSeekMath（arXiv:2402.03300）详解：120B 数学语料 + GRPO 算法 + 三阶段训练管线，7B 模型在 MATH 上接近 GPT-4 当时水位，并定义了后来 R1 系列的 RL 训练范式。
DeepSeek-Coder（arXiv:2401.14196）详解：从 file-level 升级到 repo-level 训练 + 拓扑排序、FIM 双模混合 (50% PSM + NTP)、16K 长上下文，让 6.7B 模型在 HumanEval / MBPP 上追平 CodeLlama-34B。
转载本文请注明出处：https://yudonglee.me/deepseekm… Continue Reading →
转载本文请注明出处：https://yudonglee.me/deepseek-… Continue Reading →
转载本文请注明出处：https://yudonglee.me/deepseek-… Continue Reading →
本文是一篇详细的 voice agent 工程实战指南：经典 VAD+ASR+LLM+TTS 五件套架构的延迟拆解、turn detection 与 barge-in 的工程难点、GPT-4o Realtime / Moshi 端到端方案、LiveKit/Pipecat/Vapi/Retell 框架对比、2026 路线选型决策树。语音技术深度系列第 15 篇——真正的收官篇。
本文是「语音技术深度系列」的顶层综述：Speech LLM 三大范式（Speech-In / Speech-Out / End-to-End Speech-to-Speech）分类法、Qwen2-Audio / VALL-E / Moshi / GPT-4o 等核心模型对比、开源 vs 闭源生态、2022-2025 完整时间线、收敛趋势与未来预测。语音技术深度系列第 14 篇（阶段性收官篇）。
本文是一篇详细的 Neural Audio Codec 技术拆解：从 RVQ-VAE 数学骨架、SoundStream 开山之作、Encodec 工业化标准、DAC 高保真、Mimi 流式 + 12.5 Hz 革命，到与 TTS / 语音 LLM 的集成、PyTorch 代码与 2024 单 codebook 趋势。TTS 系列第 5 篇。
本文是一篇详细的 F5-TTS / E2-TTS 技术拆解：从 Conditional Flow Matching 数学基础、E2-TTS 音频填空训练范式、F5-TTS 的 ConvNeXt 文本编码器与 Sway Sampling 推理技巧，到完整 PyTorch 调用、性能对比表与 VALL-E / CosyVoice 2 三路线终极比较。TTS 系列第 4 篇，Bitter Lesson 在 TTS 的胜利。
本文是一篇详细的 CosyVoice 2 技术拆解：从监督式语义 token 替代 Encodec 的设计哲学、Qwen2.5-0.5B AR LM、Conditional Flow Matching decoder、HiFi-GAN vocoder、chunk-aware 流式合成（150ms FTL），到 SEED-TTS 性能对比、与 VALL-E/F5-TTS 工程化取舍、CosyVoice 3 一瞥与工程化伦理。中文 TTS 工业部署事实标准的深度文。
本文是一篇详细的 VALL-E 技术拆解：从 Encodec 的 RVQ-VAE 离散化、AR + NAR 双 Transformer 架构、3 秒音色克隆推理流程，到 VALL-E X / VALL-E 2 / NaturalSpeech 3 演进，以及与 CosyVoice 2 / F5-TTS 的工程化对比。ASR Whisper 的姊妹篇，TTS 系列第 2 篇。
本文是一篇详细的 TTS 30 年技术演进史：从 1990 年代的拼接合成 / HTS，经 WaveNet 与 Tacotron 的端到端革命，到 FastSpeech 并行化、VITS 端到端、VALL-E codec LM 范式革命、F5-TTS Flow Matching、CosyVoice 2 中文 SOTA。ASR 系列的姊妹篇，TTS 系列开篇。
本文从工程视角彻底拆透流式 ASR：算法延迟 vs 计算延迟、流式三大天敌、Chunked Attention 与 Dynamic Chunk Training、KV Cache、Causal Conv、Whisper 流式化、RNN-T 天然流式、VAD + Endpoint 工业架构、Moshi/GPT-4o Realtime 端到端语音 LLM。CTC、Whisper、RNN-T、Conformer、SSL 系列的姊妹篇。
本文是一篇详细的语音自监督预训练 (SSL) 拆解：从 Wav2Vec 2.0 的对比学习 + 量化、HuBERT 的 k-means 伪标签 + 掩码预测，到 WavLM 的话语混合与门控相对位置偏置。配 PyTorch 微调代码、SUPERB 性能表，与 Whisper / Conformer / RNN-T 系列互链。
本文是一篇详细的 Conformer 技术拆解：从纯 Transformer 在 ASR 上的局限、Macaron 双 FFN + Convolution Module 的设计哲学，到完整 PyTorch 实现、S/M/L 三种官方配置和 Squeezeformer / Zipformer 变体演进。CTC、Whisper、RNN-T 系列的姊妹篇。
本文是一篇详细的 Whisper 技术拆解：从整体架构、音频预处理、Multitask 训练范式，到 PyTorch 源码逐段精读和性能 / 生态对比，并配 SVG 原理图、参数表与可运行代码。