在当今企业数字化转型的浪潮中,人工智能(AI)技术的应用已成为推动业务创新的关键力量。随着企业AI投入的深化,管理焦点已从技术可行性转向精细化治理,特别是在大模型(LLM)的广泛应用背景下,如何高效、安全地管理多渠道的token流量成为企业面临的重大挑战。
针对这些挑战,睿思智联推出了其创新产品——Rise Router,旨在成为企业大模型token流量的统一入口与治理平台。通过Rise Router,业务侧只需对接一个端点,即可调用所有LLM能力,而Router则根据预设策略将请求智能分流至本地推理或外部受管渠道。这一设计不仅简化了业务对接流程,还使得财务、合规和运维部门能够在同一治理面上全面监控所有LLM消费情况。
Rise Router的部署位置十分关键,它位于客户私有化环境中的Rise ModelX之上,作为业务应用与底层推理通道之间的桥梁。无论是Rise ModelX上的本地推理服务(如vLLM、SGLang、MindIE),还是国产大模型(如DeepSeek、Qwen、智谱等),亦或是公有云MaaS服务和模型聚合平台,甚至是国外模型和企业自选的BYOC(Bring Your Own Cloud)服务,都可以通过Rise Router实现统一管理和路由。
Rise Router的核心能力体现在多个方面。首先,它提供了统一的OpenAI兼容入口,屏蔽了本地推理与外部渠道之间的协议差异,支持HTTP/HTTPS双端口服务,并兼容MCP、Function Call、JSON Mode和流式SSE等多种调用方式。其次,Router具备内外分流智能路由功能,能够根据数据敏感度、成本、模型能力等因素自动选择最佳路径,并与企业现有的数据分级和大模型围栏类治理组件协同工作。Router还实现了Key与凭证的集中托管,支持上游厂商Key、内部凭证以及多维授权的统一管理,确保业务应用不直接持有任何外部Key。
在计量与预算控制方面,Rise Router同样表现出色。它支持本地GPU时长计费与外部API token计费的并轨归因,能够在同一套FinOps看板上展示多维度(如租户、项目、业务线、API Key)的计费信息。同时,Router还提供了预算硬上限、成本异常告警、闲时/夜间调度等多层防护机制,有效防止了Agent失控消耗或人为误用导致的成本飙升。
对于出站合规审计,Rise Router同样不遗余力。它能够完整记录请求链路日志,覆盖内外全流量,包括PII拦截、敏感词过滤和多模态出站审计等功能。通过与企业数据分级和大模型围栏策略的紧密配合,Router确保了出站行为的受控管理,满足了金融、央企等高合规场景的监管审计要求。
Rise Router的适用客户群体广泛,主要包括那些本地拥有信创算力基座(如昇腾、昆仑芯、寒武纪等国产算力),同时业务增长产生外部token补充需求、非敏感业务降本诉求以及合规对外出网审计需求的企业。在实际应用中,Rise Router展现了其强大的场景适应能力,无论是按敏感度与场景一体化路由、Agent统一调用大模型能力,还是多渠道灰度与模型择优等场景,都能游刃有余地应对。











