Tag Qwen2.5-Omni

Qwen 论文专题系列第九篇——Qwen 多模态全家桶的「集大成」之作 Qwen2.5-Omni（arXiv:2503.20215, 2025-03）。文本/图像/音频/视频四种模态在同一 token 空间统一处理。本文逐项拆解三大核心创新：(1) Thinker-Talker 双角色架构——Thinker 是 Qwen-2.5-7B 处理理解+文本，Talker 是 300M 轻量 decoder 基于 hidden state 流式生成语音 codec token，把「想」和「说」解耦；(2) TMRoPE 时间对齐多模态位置编码——把 M-RoPE 的 t 维度从「模态内相对位置」升级为「全局绝对时间戳」，所有模态同一时刻共享同一 t 值；(3) 流式语音生成实现 300ms 首字节延迟。中文 voice chat 体验略胜 GPT-4o realtime。