AI Infra 有两块对外能力:语音合成(Voice Studio)和文本模型服务,统一从 API 开放平台出去。TTS 与研究侧是内部服务,没有公开仓库;接口来自小程序代理 applet/src/routes/tts.js 和 GPU Pod 的 vLLM 部署,细节不做推测。
对外只有域名和 Key
TTS 域名 https://tts.ssemarket.cn,鉴权靠 X-API-Key;Key 只在服务端,不下发前端。
小程序页面调同源 /v1/tts/*,由平台代理:注入 MP_TTS_API_KEY、按 IP 做令牌桶(默认 30 次 / 60 秒,各接口独立命名桶)、没配 Key 返回 503 TTS_NOT_CONFIGURED。
1 | const BASE = () => String(process.env.MP_TTS_BASE || 'https://tts.ssemarket.cn').replace(/\/+$/, ''); |
上游超时 70 秒:合成会排队,太短会误判失败。代理自身也要设,两级都要有;只设一级,上游卡住会挂住连接直到耗尽连接池。
接口分层
音色
1 | GET /v1/tts/me 当前 Key 对应的账号信息与额度 |
base-models 是能训练什么音色的底座,voices 是训练好的;列表、试听分开,列表不返回音频。
合成
用户选音色、输文本,提交后轮询,再试听或下载。后端拆成两个资源:
1 | POST /v1/tts 提交合成,返回 jobId |
音频走独立端点:base64 内联会让体积膨胀 33%,也没法流式播放。响应必须带 Cache-Control: no-store,否则和账号绑定的结果可能被 CDN 或浏览器缓存取到。
歌曲与翻唱
1 | GET /v1/tts/songs 歌曲列表 |
翻唱是独立任务类型,共用任务查询和音频下发,但有自己的列表与详情,因为参数更多(原曲、音高、音色)。作为用户生成内容,保留原始素材与生成结果的关联,便于下架时一并处理。
跑在 GPU Pod 上
TTS 和文本模型都跑在 YatTerra 的 GPU Pod 上(namespace clouds),由 supervisord 托管,崩溃自启、开机自启。
1 | YatTerra GPU Pod(namespace clouds) |
共卡时用 MPS 百分比切分;不切分就是谁先占满显存谁赢,另一个随机 OOM。
文本模型统一由 vLLM 承载,靠三个机制吃满 GPU:
1 | PagedAttention KV Cache 分页管理,避免显存碎片 |
前缀缓存对「固定系统提示 + 变长输入」收益最大;提示词都不同,命中率接近 0。
容量:按推荐区间配
内部压测口径是 4B 量级模型、单卡 24GB:
1 | 峰值 7.6k tok/s @ 384 并发 |
按推荐区间配:峰值下 TTFT 和成功率都会劣化。
评测三类:逐级升并发找吞吐拐点;128k 下看显存与速度衰减;Agent 测选工具、填参数成功率。指标是吞吐、TTFT、成功率和前缀缓存命中率;TTFT 比吞吐更贴近体感。
别硬编码模型名。这组模型包括多模态对话、轻量 LLM(工具调用 / 思考链)、视频生成、向量检索与重排、TTS;成员版本以 /v1/models 为准。
面试速答
- 鉴权:
X-API-Key只在服务端;前端走同源代理,代理按 IP 令牌桶限流(默认 30 次 / 60 秒)。 - 合成任务:提交
jobId→ 轮询状态 → 独立音频端点;音频不内联 base64,并带no-store。 - 运行环境:TTS 与文本模型跑在集市云 GPU Pod,
supervisord托管;共卡用 MPS 切分。 - 吞吐优化:vLLM 的 PagedAttention、连续批处理、前缀缓存;按推荐并发区间配,别压到峰值。
- 指标:吞吐、TTFT、成功率、前缀缓存命中率;TTFT 比吞吐更贴近体感。
→ 下一篇:全平台面试速答





