双锐炫A770显卡 本地32B DeepSeek R1轻松部署

我们使用两块英特尔锐炫A770 16GB显卡在Ubuntu操作系统下，离线部署了32B参数的DeepSeek R1大模型，实现了高效的本地推理，实测生成阶段的Avg Generation Throughput可以稳定在26 tokens/s以上。