ta2024 pdf
如何评价 DeepSeek 的 DeepSeek - V3 模型?
DeepSeek-V3 使用了多头潜在注意力（Multi-head Latent Attention， MLA）和DeepSeekMoE（DeepSeek Mixture-of-Experts，MoE）架构。 DeepSeek-V3开创了采用专家选择辅助无损失函数（auxiliary-loss-free strategy，在不实用采样loss帮助下，让每个专家访问次数接近
DeepSeek-V3 使用了多头潜在注意力（Multi-head Latent Attention， MLA）和DeepSeekMoE（DeepSeek Mixture-of-Experts，MoE）架构。 DeepSeek-V3开创了采用专家选择辅助无损失函数（auxiliary-loss-free strategy，在不实用采样loss帮助下，让每个专家访问次数接近