腾讯混元Hy3-FP8295B参数MoE大模型完全指南【免费下载链接】Hy3-FP8项目地址: https://ai.gitcode.com/tencent_hunyuan/Hy3-FP8腾讯混元Hy3-FP8是一款由腾讯混元团队开发的295B参数混合专家MoE模型具备21B活跃参数和3.8B MTP层参数。作为Hy3预览版的升级版它在50产品反馈基础上优化了训练数据质量与多样性性能超越同规模模型甚至可媲美2-5倍参数量的开源旗舰模型在各类产品和生产力任务中展现出显著价值。模型核心架构解析Hy3-FP8采用先进的混合专家架构通过动态路由机制实现计算资源的高效利用。其核心参数配置如下属性数值架构Mixture-of-Experts (MoE)总参数295B活跃参数21BMTP层参数3.8B层数不含MTP层80MTP层数1注意力头数64GQA8个KV头头维度128隐藏层大小4096中间层大小13312上下文长度256K词汇表大小120832专家数量192个专家激活前8个支持精度BF16这一架构设计使Hy3-FP8在保持高性能的同时显著降低了计算资源消耗特别适合大规模部署和应用。卓越的性能表现Hy3-FP8在推理、智能体能力和长上下文任务上均实现了显著提升与更大规模的旗舰模型相比也具有竞争力。在编码、办公、金融建模、前端设计和游戏开发等生产力场景中Hy3-FP8取得了显著进步已成为可靠且经济高效的模型选择。值得注意的是在270位专家参与的盲测中Hy3-FP8以2.67/4的得分超过GLM-5.1的2.51/4尤其在前端开发、数据存储和CI/CD任务中优势明显。详细基准测试数据以下是Hy3-FP8在各类基准测试中的详细表现这些数据充分展示了Hy3-FP8在多语言处理、代码生成、搜索能力、推理任务等多个维度的卓越性能。更可靠的产品体验基于广泛的产品反馈Hy3-FP8针对实际应用中的关键问题进行了优化获得了产品团队的一致好评工具调用和输出格式稳定性修复了多个基线可靠性问题使模型在各种工具配置和输出约束下达到生产级标准。工具调用错误恢复能力和整体效率得到提升且能很好地适应不同的智能体框架。在SWE-Bench Verified测试中不同框架如CodeBuddy、Cline和KiloCode间的准确率差异保持在4%以内。知识准确性与抗幻觉能力遵循有根据才回答证据不足则说明不混淆来源或编造数据的原则实施了细粒度的数据清洗和训练约束。在基于真实场景的内部评估中Hy3-FP8的幻觉率从12.5%降至5.4%常识错误率从25.4%降至12.7%显著减少了事实混淆、编造和逻辑矛盾。复杂上下文保留与多轮意图跟踪通过SFT和RL的联合优化Hy3-FP8改善了指代消解、省略恢复和多轮约束继承等操作痛点。在内部综合多轮测试中问题率从17.4%降至7.9%。在MRCR等长对话评估中也有显著提升输出更加简洁同时确保复杂意图在长期交互中不衰减或漂移。快速开始使用Hy3-FP8要开始使用Hy3-FP8首先需要使用vLLM或SGLang进行部署然后调用兼容OpenAI的APIfrom openai import OpenAI client OpenAI(base_urlhttp://127.0.0.1:8000/v1, api_keyEMPTY) response client.chat.completions.create( modelhy3, messages[ {role: user, content: Hello! Can you briefly introduce yourself?}, ], temperature0.9, top_p1.0, # reasoning_effort: no_think (default, direct response), low, high (deep chain-of-thought) extra_body{chat_template_kwargs: {reasoning_effort: no_think}}, ) print(response.choices[0].message.content)推荐参数temperature0.9top_p1.0。推理模式对于复杂任务数学、编码、推理将reasoning_effort设置为high对于直接响应设置为no_think。模型部署指南Hy3-FP8总共有295B参数。要在8个GPU上提供服务建议使用H20-3e或其他内存容量更大的GPU。对于生产环境部署推荐使用vLLM或SGLang两者都为Hy3提供了专门的部署方案vLLM - 参见vLLM recipesSGLang - 参见SGLang cookbook使用vLLM部署从源代码构建vLLMuv venv --python 3.12 --seed --managed-python source .venv/bin/activate git clone https://github.com/vllm-project/vllm.git cd vllm uv pip install --editable . --torch-backendauto启动启用MTP的vLLM服务器# 切换到trtllm后端以解决mnnvl工作区大小问题。 export VLLM_FLASHINFER_ALLREDUCE_BACKENDtrtllm vllm serve tencent/Hy3-FP8 \ --tensor-parallel-size 8 \ --speculative-config.method mtp \ --speculative-config.num_speculative_tokens 2 \ --tool-call-parser hy_v3 \ --reasoning-parser hy_v3 \ --enable-auto-tool-choice \ --port 8000 \ --served-model-name hy3使用SGLang部署从源代码构建SGLanggit clone https://github.com/sgl-project/sglang cd sglang pip3 install pip --upgrade pip3 install transformers5.6.0 pip3 install -e python启动启用MTP的SGLang服务器python3 -m sglang.launch_server \ --model tencent/Hy3-FP8 \ --tp-size 8 \ --tool-call-parser hunyuan \ --reasoning-parser hunyuan \ --speculative-num-steps 2 \ --speculative-eagle-topk 1 \ --speculative-num-draft-tokens 3 \ --speculative-algorithm EAGLE \ --port 8000 \ --served-model-name hy3模型微调教程Hy3提供了完整的模型微调流程。详细文档请参考微调指南训练数据格式与处理Hy3支持慢思考和快思考两种模式。默认情况下模型以慢思考模式输出。如果希望模型使用快思考模式可以通过reasoning_effort参数控制选项high、low、no_think。训练数据应格式化为消息列表。默认情况下训练和推理的系统提示为空但您可以根据需要自定义。# 快思考模式 (no_think) {reasoning_effort: no_think, messages: [{content: You are a helpful assistant.\nThe current time is 2026-01-01 13:26:12 Thursday, role: system}, {content: 11?, role: user}, {role: assistant, content: 112}]} # 慢思考模式 (high) {reasoning_effort: high, messages: [{content: You are a helpful assistant.\nThe current time is 2026-01-01 13:26:12 Thursday, role: system}, {content: 11?, role: user}, {role: assistant, content: 112, reasoning_content: The user is asking for the result of 1 1. In basic decimal arithmetic, 1 1 equals 2.}]}微调方法选择本项目提供三种训练方法您可以根据需求选择DeepSpeed原生训练基于HuggingFace Transformers Trainer位于finetune/deepspeed_support目录LLaMA-Factory训练位于finetune/llama_factory_support目录ms-swift训练位于finetune/ms_swift_support目录硬件要求根据测试当禁用make_moe_param_leaf_module和zero3offload且max_seq_length设置为4096时LoRA微调至少需要一台配备8个GPU的机器每个GPU至少80GB内存。全量微调至少需要4台配备32个GPU的机器每个GPU至少80GB内存。模型量化我们提供了AngelSlim这是一个更易用、全面且高效的大模型压缩工具包。AngelSlim支持大规模多模态模型的全面压缩工具包括常见的量化算法、低位量化和投机采样。获取模型要获取Hy3-FP8模型您可以通过以下方式克隆仓库git clone https://gitcode.com/tencent_hunyuan/Hy3-FP8许可证Hy3以Apache License 2.0许可证发布。详情请参见LICENSE。联系我们如果您想给我们的研发和产品团队留言欢迎联系我们。您也可以通过电子邮件与我们联系hunyuan_opensourcetencent.com【免费下载链接】Hy3-FP8项目地址: https://ai.gitcode.com/tencent_hunyuan/Hy3-FP8创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
