400-8166108
行業(yè)動態(tài)
在這里，聆聽大咖的聲音
DeepSeek-R1 模型在 4 張 NVIDIA RTX? 5880 Ada GPU Generation 顯卡配置下，面對短文本生成、長文本生成、總結(jié)概括三大實戰(zhàn)場景，會碰撞出怎樣的性能火花？參數(shù)規(guī)模差異懸殊的 70B 與 32B 兩大模型，在 BF16 精度下的表現(xiàn)又相差幾何？本篇四卡環(huán)境實測報告，將為用戶提供實用的數(shù)據(jù)支持和性能參考。
首次 token 生成時間（Time to First Token, TTFT(s)）越低，模型響應(yīng)速度越快；每個輸出 token 的生成時間（Time Per Output Token, TPOT(s)）越低，模型生成文本的速度越快。
在實際業(yè)務(wù)部署中，輸入/輸出 token 的數(shù)量直接影響服務(wù)性能與資源利用率。本次測試針對三個不同應(yīng)用場景設(shè)計了具體的輸入 token 和輸出 token 配置，以評估模型在不同任務(wù)中的表現(xiàn)。具體如下：
bbb7469f" style="display:block;max-width:100%;margin:0px auto;cursor:zoom-in;" />
使用 DeepSeek-R1-70B(BF16)，單請求吞吐量約 19.9 tokens/s，并發(fā) 100 時降至約 9.9 tokens/s（約為單請求的 50%）。最佳工作區(qū)間為低并發(fā)場景（1-50 并發(fā)）。
使用 DeepSeek-R1-32B(BF16)，單請求吞吐量達約 39.5 tokens/s，并發(fā) 100 時仍保持約 18.1 tokens/s，能夠滿足高并發(fā)場景（100 并發(fā)）。
使用 DeepSeek-R1-70B(BF16)，單請求吞吐量約 20 tokens/s，并發(fā) 100 時降至約 8.8 tokens/。最佳工作區(qū)間為低并發(fā)場景（1-50 并發(fā)）。
使用 DeepSeek-R1-32B(BF16)，單請求吞吐量達約 39.7 tokens/s，并發(fā) 250 時仍保持約 10.6 tokens/s，能夠滿足較高并發(fā)場景（250 并發(fā)）。
使用 DeepSeek-R1-70B(BF16)，單請求吞吐量約 18.7 tokens/s，并發(fā) 10 時降至約 10.9 tokens/。最佳工作區(qū)間為低并發(fā)場景（10 并發(fā)）。
使用 DeepSeek-R1-32B(BF16)，單請求吞吐量達約 37 tokens/s，并發(fā) 25 時仍保持約 15.3 tokens/s，能夠滿足中等并發(fā)場景（25 并發(fā)）。
DeepSeek-R1-70B(BF16) 模型表現(xiàn)：
短文本生成：支持 75 并發(fā)量，單請求平均吞吐量>10.9 tokens/s
長文本生成：支持 50 并發(fā)量，單請求平均吞吐量>12.5 tokens/s
總結(jié)概括：支持 10 并發(fā)量，單請求平均吞吐量>10.9 tokens/s
DeepSeek-R1-32B(BF16) 模型表現(xiàn)：
短文本生成：支持 100 并發(fā)量，單請求平均吞吐量>18.1 tokens/s
長文本生成：支持 250 并發(fā)量，單請求平均吞吐量>10.6 tokens/s
總結(jié)概括：支持 25 并發(fā)量，單請求平均吞吐量>15.3 tokens/s
基于 4 卡 RTX 5880 Ada GPU 的硬件配置下：
本次基準測試在統(tǒng)一硬件環(huán)境下完成，未采用任何專項優(yōu)化策略。
本文所有測試結(jié)果均由麗臺科技實測得出，如果您有任何疑問或需要使用此測試結(jié)果，請聯(lián)系 @麗臺科技 。
如需部署 DeepSeek 671B 完整參數(shù)版本，歡迎聯(lián)系 @麗臺科技 獲取定制化解決方案。
