AI 产业澎湃越来越多企业开始将人工智能深度融入研发、生产、客服、营销等核心业务场景。在大模型应用规模快速增长的同时企业也面临新的挑战模型种类不断增加、调用成本持续攀升、系统稳定性要求不断提高而跨模型管理、成本控制、安全治理和运行监控等能力建设却相对滞后。面对企业 AI 规模化落地过程中普遍存在的运营管理难题科大讯飞 7 月 19 日正式推出星火 Token Factory通过统一接入、智能路由、全链路治理与成本优化能力为企业构建面向未来的大模型基础设施底座。聚焦企业 AI 规模化落地挑战当前大模型应用正从单点试点走向多业务、多场景、多团队协同应用的新阶段。企业往往需要同时接入多个模型服务支撑代码助手、智能客服、知识问答、内容生成、文档处理等不同业务场景。随着调用规模增长企业面临的管理压力也在持续加大。一方面不同任务复杂度差异显著但实际应用中往往采用统一模型处理导致资源利用效率不高Token 成本持续增长另一方面多模型并行运行也对系统稳定性、安全治理以及运营管理提出更高要求。与此同时企业 AI 建设正逐步从“模型能力建设”迈向“AI 基础设施建设”阶段。企业关注的重点不再仅仅是模型本身能力是否足够强大而是如何让模型能力真正融入业务体系实现稳定运行、统一治理和持续优化。如何在保障业务效果的同时降低成本、提升稳定性、实现统一管理正在成为企业推进 AI 规模化应用的重要课题。星火 Token Factory 正式发布基于企业客户的实际需求科大讯飞推出星火 Token Factory旨在帮助企业提升大模型应用效率与管理水平为其构建长期可持续的 AI 能力体系提供支撑。作为企业级 AI 模型智能路由平台星火 Token Factory 定位于企业应用与大模型之间的统一中间层面向企业提供模型统一接入、智能路由调度、Token 成本优化、安全合规治理等核心能力造覆盖“接入—治理—观测—运营”的完整闭环为企业构建统一的大模型服务入口让大模型应用实现真正意义上的可管、可控、可追溯帮助企业实现大模型资源的高效管理与规模化运营。智能路由驱动模型资源高效利用在企业实际应用中不同任务对于模型能力的要求并不相同。例如文本分类、信息抽取等简单任务与长文档分析、复杂推理等高复杂度任务对模型能力和资源消耗的需求存在显著差异。针对这一特点星火 Token Factory 构建了基于 Prompt 长短、规则预置、自定义规则、对话轮次、session 亲和等多维度特征综合判定任务的复杂度对请求进行 L1 至 L3 智能分级管理并实现智能路由机制。平台综合考虑质量、成本、延迟、可用性、安全等级五个因子匹配适合的模型资源让简单任务调用更具性价比的模型复杂任务优先匹配高能力模型从而实现模型资源的精细化调度与利用。而且整个决策平均延迟可控制在 100 毫秒以内。通过智能路由能力平台能够有效降低大尺寸模型调用压力为企业释放更多成本优化空间。推理引擎提升国产模型本地推理效率国产化私有部署场景下推理引擎直接决定算力利用率与服务成本。星火 Token Factory 围绕昇腾硬件特性对主流开源大模型从底层算子到上层调度做了端到端的工程优化在保障服务质量的前提下显著提升了性能。核心技术优化在显存侧通过多种模型压缩与精度优化技术在精度可控的前提下大幅降低显存占用使有限硬件能够承载更大规模模型、更长上下文与更高并发在计算与通信侧融合推理过程中的核心计算算子将零散计算合成为高效的指令序列并对多卡通信做了调度重排实现计算与通信的并行重叠在缓存与调度侧通过跨节点的分布式 KV Cache 管理与多级存储调度引入上下文感知Cache-Aware的缓存路由与上下文复用重组策略提升了长上下文与高并发场景下的缓存命中率在解码侧引入面向昇腾硬件的并行解码加速机制缩短了生成密集场景下的端到端延迟。实测成效在相同硬件条件下针对主流开源模型的基准测试星火 Token Factory 相较开源 vLLM-Ascend 框架推理效率提升约 5 倍首 Token 延迟降低 30%–40%。这意味着同等昇腾算力可支撑接近翻倍的业务请求量或以更少算力达成同等服务能力——让国产化私有部署在性能与成本上同时受益。安全治理构建企业级安全体系除模型调度与资源优化能力外星火 Token Factory 还围绕企业级应用场景构建了完善的安全体系。三权分立管理不碰数据、操作不碰权限、审计不碰业务三者相互独立、相互制约。并结合混合授权从制度与技术双重层面杜绝越权与数据泄露风险。审计日志平台对所有关键操作自动生成不可篡改、不可删除、不可绕过的全链路审计记录覆盖数据访问、权限变更、模型调用、数据导出六大类操作确保全程可追溯满足等保要求。敏感信息防护 覆盖个人隐私如身份证、手机号、银行卡、姓名、地址、邮箱、车牌及经营数据如财务、薪资、合同等敏感信息进行分级路由确保敏感数据不出域。成本归因把 AI 算力账算清楚随着企业 AI 应用数量不断增加模型调用过程的可监测能力成为运营管理的重要基础。星火 Token Factory 提供端到端全链路日志审计能力实现请求从进入平台到最终返回结果的全过程记录。通过日志追踪、路由决策记录、Token 消耗统计以及成本归因分析让企业能够清晰掌握每一次模型调用的运行状态和资源消耗情况。配合预算管理、ROI 分析和可视化报表企业不仅能够快速定位问题更能够为后续运营优化和资源规划提供数据支撑让 AI 应用从“黑盒运行”走向“透明运营”。加速企业迈向 AI 规模化运营新阶段从模型能力竞争到应用价值竞争越来越多企业已经完成初步探索并开始关注投入产出比、运营效率以及长期治理能力等问题。企业真正需要的不仅是更强的模型能力更是一套能够实现统一接入、统一治理、统一运营的大模型基础设施平台。星火 Token Factory 的发布进一步完善了科大讯飞在企业 AI 基础设施领域的能力布局也为企业构建可持续发展的 AI 应用体系提供了新的支撑。这不仅是企业级 AI 治理能力的一次升级也标志着企业大模型应用正在从单点探索迈向规模化运营的新阶段。科大讯飞希望通过更加开放、高效、稳定的 AI 基础设施能力帮助更多企业加速释放人工智能价值共同推动产业智能化发展迈向新高度。
