解决方案 · AI 与 GPU 计算
用于推理与微调的 AI GPU 服务器，按月计费。
独享 NVIDIA GPU，显存 24 至 96 GB，整台服务器归您一人使用，并配备 10 Gbps 不限流量端口，用于传输数据集和模型权重。不按小时计费，也没有出站流量账单。
推荐用于大模型
RTX PRO 6000
- NVIDIA RTX PRO 6000 · 96 GB
- AMD EPYC 9355P · 32C/64T
- 384 GB DDR5 ECC
- 2 × 3.84 TB NVMe Gen5
单卡 96 GB GDDR7 显存：可运行 8 位量化的 70B 参数模型，或对中等规模模型进行 LoRA 微调。
$1,499 −40%$899/月
72 h 内就绪
- 10 Gbps 不限流量端口
- 全天候 DDoS 防护
- IPMI / KVM 访问
- IPv4 + 路由 /64 IPv6
- 开通费 $0，随时取消
为什么选择 PowerDedi
专为整月持续运行的 GPU 工作负载而打造。
按月计费，而非按小时全天候运行时，折合每小时 $0.23 至 $1.23，没有任何额外的计量费用。
整机独享没有时间分片，没有争抢资源的邻居：完整的 PCIe 访问权限，驱动和 CUDA 版本由您决定。
数据传输免费以 10 Gbps 拉取模型权重和数据集，提供推理服务时也不必盯着出站流量计费。
隐私优先您的模型、提示词和数据只存放在仅您可以访问的硬件上；只需一个邮箱地址，并以加密货币付款。
配置建议
每款 GPU 能运行多大的模型。
在中等上下文长度下可用于推理的最大模型级别。FP16/BF16 下每个参数的权重约占 2 字节，8 位下为 1 字节，4 位下约 0.5 字节，KV 缓存另需 10–30%。
| GPU | 内存 | FP16 / BF16 | 8 位 | 4 位 | 每小时（7×24） |
|---|---|---|---|---|---|
| NVIDIA RTX PRO 4000 Blackwell | 24 GB | ~8B | ~14B | ~32B | $0.23 |
| NVIDIA L40S | 48 GB | ~20B | ~32B | ~70B | $0.75 |
| NVIDIA RTX PRO 6000 Blackwell | 96 GB | ~40B | ~70B | ~120B（MoE） | $1.23 |
以上为单卡推理的经验值。长上下文、大批量和训练需要更多显存；LoRA 或 QLoRA 微调在 48 GB 和 96 GB 显卡上都能很好地运行。
GPU 一览
三款 NVIDIA GPU，每台服务器一块。
规格来自 NVIDIA 公开资料。每台 GPU 服务器都包含所列的主机 CPU、内存和 NVMe，另配一个 10 Gbps 不限流量端口。
| GPU | 架构 | 内存 | Tensor 精度格式 | 主机 | 交付 | 价格 |
|---|---|---|---|---|---|---|
| NVIDIA RTX PRO 4000 Blackwell SFF · 24 GB | Blackwell | 24 GB GDDR7 ECC | FP4 · FP8 · BF16 | AMD Ryzen 9 9900X · 64 GB DDR5 | 24 h | $169/月 |
| NVIDIA L40S · 48 GB | Ada Lovelace | 48 GB GDDR6 ECC | FP8 · BF16 | AMD EPYC 9355P · 256 GB DDR5 ECC | 72 h | $549/月 |
| NVIDIA RTX PRO 6000 Blackwell · 96 GB | Blackwell | 96 GB GDDR7 ECC | FP4 · FP8 · BF16 | AMD EPYC 9355P · 384 GB DDR5 ECC | 72 h | $899/月 |
支持您的技术栈
- PyTorch
- vLLM
- SGLang
- llama.cpp
- Ollama
- TensorRT-LLM
- Hugging Face TGI
- ComfyUI
- Blender
- FFmpeg (NVENC)
- Docker + NVIDIA Container Toolkit
推荐服务器
从久经验证的配置起步。
每个价格都包含 10 Gbps 不限流量端口、DDoS 防护和 IPMI。划线价为同等硬件的市场中位价。
推理与开发
24 h
- NVIDIA RTX PRO 4000 · 24 GB
- AMD Ryzen 9 9900X · 12C/24T
- 64 GB DDR5
- 2 × 1.92 TB NVMe
- 10 Gbps 不限流量
24 GB GDDR7 显存，可运行 8 位量化下约 14B 以内的模型、嵌入模型、Whisper 以及图像生成。
部署$279−39%$169/月可选机房：阿姆斯特丹、法兰克福、纽约。
生产环境推理
72 h
- NVIDIA L40S · 48 GB
- AMD EPYC 9355P · 32C/64T
- 256 GB DDR5 ECC
- 2 × 3.84 TB NVMe
- 10 Gbps 不限流量
48 GB 显存，可运行量化后的 30B 至 70B 模型并进行批量推理服务，主机为 32 核 EPYC。
部署$909−40%$549/月可选机房：阿姆斯特丹、法兰克福。
大模型与微调推荐
72 h
- NVIDIA RTX PRO 6000 · 96 GB
- AMD EPYC 9355P · 32C/64T
- 384 GB DDR5 ECC
- 2 × 3.84 TB NVMe Gen5
- 10 Gbps 不限流量
96 GB 显存，可运行 8 位量化的 70B 模型并进行 LoRA 微调，主机内存 384 GB。
部署$1,499−40%$899/月可选机房：阿姆斯特丹、法兰克福。
常见问题
AI 与 GPU 计算：常见问题解答。
还有疑问？拥有在用服务器的客户可通过工单获得工程师的解答。
工单支持一台服务器可以配多块 GPU 吗？
每台 GPU 服务器配备一块独享的 NVIDIA GPU，不含 NVLink。如需承载更多流量，可并行运行多台 GPU 服务器。
可以训练模型吗？
微调（LoRA、QLoRA，以及较小模型的全参数微调）在 L40S 和 RTX PRO 6000 上表现良好。大模型预训练需要配备高速互联的多 GPU 集群，我们不提供此类配置。
可以运行哪些软件？
任何能在装有 NVIDIA 驱动的 Linux 上运行的软件：PyTorch、vLLM、SGLang、llama.cpp、Ollama、TensorRT-LLM、ComfyUI 等。可从 NVIDIA 官方软件源安装驱动和 CUDA，也可以通过 Docker 搭配 NVIDIA Container Toolkit 使用。
允许 GPU 挖矿吗？
不允许。GPU 服务器仅用于计算、渲染和 AI 工作负载。
GPU 服务器位于哪些机房？
RTX PRO 4000 可在阿姆斯特丹、法兰克福和纽约部署（24 小时交付）；L40S 和 RTX PRO 6000 可在阿姆斯特丹和法兰克福部署（72 小时交付）。
指南
相关指南
- gpt-oss-120b 与 gpt-oss-20b 硬件要求：显存与 GPU运行 OpenAI 的 gpt-oss-120b 与 gpt-oss-20b 需要什么：模型卡中的权重大小、每个上下文 token 占用的显存、使用 vLLM 和 Ollama 的单 GPU 部署、官方记录的 GPU 支持情况，以及 24、48 和 96 GB 显存的显卡分别适合哪个模型。
- 2026 年 RTX PRO 6000 租用：云端按小时计价与包月服务器对比2026 年 10 月，NVIDIA RTX PRO 6000 在主要 GPU 云平台和算力市场的小时价格、按小时计费与包月服务器之间的盈亏平衡点、小时价未包含的成本，以及按小时计费仍然更划算的情形。
- 2026 年 DRAM 紧缺：对独立服务器买家意味着什么从 2025 年末到 2026 年，服务器 DRAM 合约价以创纪录的季度涨幅攀升。本文介绍相关数据、涨价原因、对独立服务器定价的影响，以及如何只租用您所需的内存。
