本页目录展开
  1. 对外只有域名和 Key
  2. 接口分层
    1. 音色
    2. 合成
    3. 歌曲与翻唱
  3. 跑在 GPU Pod 上
  4. 容量:按推荐区间配
  5. 面试速答

AI Infra 有两块对外能力:语音合成(Voice Studio)和文本模型服务,统一从 API 开放平台出去。TTS 与研究侧是内部服务,没有公开仓库;接口来自小程序代理 applet/src/routes/tts.js 和 GPU Pod 的 vLLM 部署,细节不做推测。

对外只有域名和 Key

TTS 域名 https://tts.ssemarket.cn,鉴权靠 X-API-Key;Key 只在服务端,不下发前端。

小程序页面调同源 /v1/tts/*,由平台代理:注入 MP_TTS_API_KEY、按 IP 做令牌桶(默认 30 次 / 60 秒,各接口独立命名桶)、没配 Key 返回 503 TTS_NOT_CONFIGURED。

1
2
3
4
5
6
7
8
9
10
const BASE = () => String(process.env.MP_TTS_BASE || 'https://tts.ssemarket.cn').replace(/\/+$/, '');
const KEY = () => String(process.env.MP_TTS_API_KEY || '');

async function upstream(pathname, init = {}, timeoutMs = 70000) {
const key = KEY();
if (!key) throw new ApiError(503, 'TTS_NOT_CONFIGURED', '语音合成服务尚未配置');
const headers = new Headers(init.headers || {});
headers.set('X-API-Key', key);
return fetch(`${BASE()}${pathname}`, { ...init, headers, signal: AbortSignal.timeout(timeoutMs) });
}

上游超时 70 秒:合成会排队,太短会误判失败。代理自身也要设,两级都要有;只设一级,上游卡住会挂住连接直到耗尽连接池。

接口分层

音色

1
2
3
4
GET /v1/tts/me                      当前 Key 对应的账号信息与额度
GET /v1/tts/base-models 可用的基础模型
GET /v1/tts/voices 我的音色列表
GET /v1/tts/voices/:runId/sample 试听某个音色

base-models 是能训练什么音色的底座,voices 是训练好的;列表、试听分开,列表不返回音频。

合成

用户选音色、输文本,提交后轮询,再试听或下载。后端拆成两个资源:

1
2
3
POST /v1/tts                      提交合成,返回 jobId
GET /v1/tts/tasks/:jobId 查任务状态
GET /v1/tts/tasks/:jobId/audio 取音频流

音频走独立端点:base64 内联会让体积膨胀 33%,也没法流式播放。响应必须带 Cache-Control: no-store,否则和账号绑定的结果可能被 CDN 或浏览器缓存取到。

歌曲与翻唱

1
2
3
4
5
GET  /v1/tts/songs                 歌曲列表
GET /v1/tts/covers 翻唱列表
POST /v1/tts/covers 提交翻唱任务
GET /v1/tts/covers/:coverId 翻唱详情
GET /v1/tts/covers/:coverId/audio 翻唱音频

翻唱是独立任务类型,共用任务查询和音频下发,但有自己的列表与详情,因为参数更多(原曲、音高、音色)。作为用户生成内容,保留原始素材与生成结果的关联,便于下架时一并处理。

跑在 GPU Pod 上

TTS 和文本模型都跑在 YatTerra 的 GPU Pod 上(namespace clouds),由 supervisord 托管,崩溃自启、开机自启。

1
2
3
4
YatTerra GPU Pod(namespace clouds)
└─ supervisord
├─ GPT-SoVITS(TTS)
└─ vLLM(文本模型)

共卡时用 MPS 百分比切分;不切分就是谁先占满显存谁赢,另一个随机 OOM。

文本模型统一由 vLLM 承载,靠三个机制吃满 GPU:

1
2
3
PagedAttention   KV Cache 分页管理,避免显存碎片
连续批处理 请求动态进出批次,不等最慢的那个
前缀缓存 相同系统提示词复用 KV,省去重复计算

前缀缓存对「固定系统提示 + 变长输入」收益最大;提示词都不同,命中率接近 0。

容量:按推荐区间配

内部压测口径是 4B 量级模型、单卡 24GB:

1
2
3
峰值      7.6k tok/s @ 384 并发
推荐区间 128–256 并发:6.4k–7.4k tok/s,TTFT 2–3.4s
上下文 128k,前缀缓存命中率约 61.5%

按推荐区间配:峰值下 TTFT 和成功率都会劣化。

评测三类:逐级升并发找吞吐拐点;128k 下看显存与速度衰减;Agent 测选工具、填参数成功率。指标是吞吐、TTFT、成功率和前缀缓存命中率;TTFT 比吞吐更贴近体感。

别硬编码模型名。这组模型包括多模态对话、轻量 LLM(工具调用 / 思考链)、视频生成、向量检索与重排、TTS;成员版本以 /v1/models 为准。

面试速答

  • 鉴权:X-API-Key 只在服务端;前端走同源代理,代理按 IP 令牌桶限流(默认 30 次 / 60 秒)。
  • 合成任务:提交 jobId → 轮询状态 → 独立音频端点;音频不内联 base64,并带 no-store。
  • 运行环境:TTS 与文本模型跑在集市云 GPU Pod,supervisord 托管;共卡用 MPS 切分。
  • 吞吐优化:vLLM 的 PagedAttention、连续批处理、前缀缓存;按推荐并发区间配,别压到峰值。
  • 指标:吞吐、TTFT、成功率、前缀缓存命中率;TTFT 比吞吐更贴近体感。

→ 下一篇:全平台面试速答