GPU 独立服务器，NVIDIA 显存 24 至 96 GB。

推理时，模型权重在 FP16/BF16 下每个参数约占 2 字节，8 位量化下占 1 字节，4 位量化下约占 0.5 字节，另需 10% 至 30% 用于 KV 缓存。24 GB 显卡能以 FP16 运行 8B 模型，或以 4 位量化运行约 32B 模型；48 GB 可容纳 4 位量化的约 70B 模型；96 GB 可容纳 8 位量化的 70B 模型。完整配置对照表

您将获得一个带 root 权限的纯净系统。可从官方软件源安装 NVIDIA 驱动和 CUDA，或使用 Docker 搭配 NVIDIA Container Toolkit。这样您就能精确选择技术栈所需的版本。

可以。这些 GPU 配备 NVENC 和 NVDEC 硬件编解码器，配合 10 Gbps 不限流量端口，非常适合基于 FFmpeg 的转码流水线。

不允许。GPU 服务器用于计算、渲染和 AI 业务。根据我们的可接受使用政策，允许在其他服务器上进行 CPU 挖矿。