Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
30 changes: 15 additions & 15 deletions README_zh.md
Original file line number Diff line number Diff line change
Expand Up @@ -12,7 +12,7 @@

## 概览

LLM 推理性能是提供 AI 服务时的核心关注点,但准确的性能分析始终难以获得。软件开发与模型发布的快节奏使得不同配置之间的性能比较十分困难。现有的性能基准测试由于是静态的而迅速过时,参与者还会用不切实际、高度特化的配置来"刷榜"。InferenceX 通过每晚使用最新软件在主流硬件平台上对热门模型进行基准测试来解决这些问题。对于每个模型与硬件组合,InferenceX 会扫描不同的张量并行大小与最大并发请求数,以吞吐量-延迟曲线呈现完整图景。在软件配置方面,我们确保其在不同服务场景下具有普遍适用性,并开源整个仓库以欢迎社区贡献。我们希望 InferenceX 能为社区提供最新、真实的 LLM 推理性能信息。
LLM 推理性能是提供 AI 服务时的核心关注点,但准确的性能分析始终难以获得。软件开发与模型发布的快节奏使得不同配置之间的性能比较十分困难。现有的性能基准测试由于是静态的而迅速过时,参与者还会用不切实际、高度特化的配置来“刷榜”。InferenceX 通过每晚使用最新软件在主流硬件平台上对热门模型进行基准测试来解决这些问题。对于每个模型与硬件组合,InferenceX 会扫描不同的张量并行大小与最大并发请求数,以吞吐量-延迟曲线呈现完整图景。在软件配置方面,我们确保其在不同服务场景下具有普遍适用性,并开源整个仓库以欢迎社区贡献。我们希望 InferenceX 能为社区提供最新、真实的 LLM 推理性能信息。

## 架构

Expand Down Expand Up @@ -64,7 +64,7 @@ bun install

### 2. 配置数据库

仪表板需要实时 PostgreSQL 数据库。在 `.env` 中设置 `DATABASE_READONLY_URL`;应用同时支持标准 PostgreSQL 服务器和 Neon。
仪表板需要一个运行中的 PostgreSQL 数据库。在 `.env` 中设置 `DATABASE_READONLY_URL`;应用同时支持标准 PostgreSQL 服务器和 Neon。

#### 方式 A:标准 PostgreSQL

Expand Down Expand Up @@ -140,19 +140,19 @@ bun run dev

合并到 `main` 或 `master` 的 `packages/db/src/etl/run-overrides.ts` 变更会由 CI 自动应用到生产数据库,随后执行数据库校验、缓存失效和缓存预热。覆盖命令仍可用于本地预览和手动恢复。

| 脚本 | 说明 |
| -------------------------------------- | ------------------------------ |
| `bun run admin:db:migrate` | 运行数据库迁移 |
| `bun run admin:db:ingest:run` | 从 GitHub 运行摄取基准测试数据 |
| `bun run admin:db:ingest:ci` | 摄取基准测试数据(CI 模式) |
| `bun run admin:db:ingest:gcs` | 从 GCS 摄取基准测试数据 |
| `bun run admin:db:ingest:supplemental` | 摄取补充数据 |
| `bun run admin:db:apply-overrides` | 手动预览或应用数据覆盖 |
| `bun run admin:db:reset` | 重置数据库 |
| `bun run admin:db:verify` | 校验数据库完整性 |
| `bun run admin:cache:invalidate` | 失效 API 缓存 |
| `bun run admin:cache:warmup` | 预热 API 缓存 |
| 脚本 | 说明 |
| -------------------------------------- | ---------------------------------------- |
| `bun run admin:db:migrate` | 运行数据库迁移 |
| `bun run admin:db:ingest:run` | 从 GitHub Actions 运行中摄取基准测试数据 |
| `bun run admin:db:ingest:ci` | 摄取基准测试数据(CI 模式) |
| `bun run admin:db:ingest:gcs` | 从 GCS 摄取基准测试数据 |
| `bun run admin:db:ingest:supplemental` | 摄取补充数据 |
| `bun run admin:db:apply-overrides` | 手动预览或应用数据覆盖 |
| `bun run admin:db:reset` | 重置数据库 |
| `bun run admin:db:verify` | 校验数据库完整性 |
| `bun run admin:cache:invalidate` | 失效 API 缓存 |
| `bun run admin:cache:warmup` | 预热 API 缓存 |

## 部署

部署于 Vercel。所有必需的环境变量见 [`.env.example`](.env.example)。
部署于 Vercel。核心环境变量见 [`.env.example`](.env.example);各运行时变量的作用及是否必填、Vercel 项目设置、GitHub Actions 变量与 secret、预发布环境前提条件见 [`docs/deployment-configuration.md`](docs/deployment-configuration.md)。
Original file line number Diff line number Diff line change
Expand Up @@ -15,9 +15,9 @@ tags:

**面向 LLM 推理的 Agentic Benchmark** 衡量模型服务系统在 AI agent 流量下的表现。它不判断 agent 是否修复了 bug 或完成了工作流,而是测量承载每次模型调用的基础设施,包括延迟、吞吐量、cache 复用、并发能力与成本。

这一目标会改变 workload。传统推理基准测试可以发送 input 和 output 长度固定的独立 prompt;Agent Benchmark 则必须表示完整会话,其中上下文随轮次增长,请求共享长 prefix,tool 执行带来停顿,subagent 产生并行分支。后续请求通常要等前序请求完成后才能开始。
这一目标会改变 workload。传统推理基准测试可以发送 input 和 output 长度固定的独立 prompt;Agent Benchmark 则必须刻画完整会话,其中上下文随轮次增长,请求共享长 prefix,tool 执行带来停顿,subagent 产生并行分支。后续请求通常要等前序请求完成后才能开始。

AgentX 是 InferenceX 面向这类 workload 的开放基准测试。它把自愿提供的编码 agent trace 转换为保护隐私的请求形状,再通过 AIPerf 进行确定性回放,用相同场景比较完整的软硬件推理配置。
AgentX 是 InferenceX 面向这类 workload 的开放基准测试。它把自愿提供的编码 agent trace 转换为保护隐私的请求形状,再通过 AIPerf 进行确定性回放,并在多个并发 agent 客户端下比较完整的软硬件推理配置。

<DashboardCTA href="/zh/inference?i_seq=agentic-traces">对比实时 AgentX 推理结果 →</DashboardCTA>

Expand All @@ -32,7 +32,7 @@ Agentic Inference Benchmark 是面向多轮 agent 流量的系统基准测试。
- 每个活跃 agent 接收 output token 的速度是多少?
- 在目标延迟下,每颗芯片能提供多少 output 吞吐量?
- 重复 prefix 会命中 HBM、host memory,还是触发重新计算?
- 在可用的响应速度下,每百万 token 的成本是多少?
- 在可用的运行点上,每百万 token 的成本是多少?

“Benchmark”也常用于 agent 任务评估,因此必须说明测试范围。这两类测试回答不同问题:

Expand Down
Loading
Loading