可观测性

生产环境指标

SGLang 通过 Prometheus 暴露以下指标。您可以在启动服务器时通过添加 --enable-metrics 来启用这些指标。 您可以通过以下方式查询它们：

curl http://localhost:30000/metrics

有关更多详细信息，请参阅 生产环境指标 和 生产环境请求追踪。

日志记录

默认情况下，SGLang 不会记录任何请求内容。您可以使用 --log-requests 来记录请求。 您可以使用 --log-request-level 来控制详细程度。 有关更多详细信息，请参阅 日志记录。

请求转储与重放

您可以转储所有请求，以便以后用于基准测试或其他目的。

要开始转储，请使用以下命令向服务器发送请求：

python3 -m sglang.srt.managers.configure_logging --url http://localhost:30000 --dump-requests-folder /tmp/sglang_request_dump --dump-requests-threshold 100

服务器会将每100个请求转储到一个pickle文件中。

要重放请求转储，请使用 scripts/playground/replay_request_dump.py。

崩溃转储与重放

有时服务器可能会崩溃，您可能希望调试崩溃的原因。 SGLang 支持崩溃转储，它会转储崩溃前5分钟内的所有请求，使您可以重放这些请求并稍后调试原因。

要启用崩溃转储，请使用 --crash-dump-folder /tmp/crash_dump。 要重放崩溃转储，请使用 scripts/playground/replay_request_dump.py。