深度学习服务器选型避坑与全栈调优实战

　　去年十月那波选型，打得挺艰难的。老张当时非说A100集群稳，我原以为他看过测试数据，结果他只是听说隔壁组用着“好像还行”——那台机器后来跑BERT微调，GPU利用率卡在60%上不去，散热风扇跟拖拉机似的，半夜两点在机房里嗡嗡响，隔壁组都来投诉。后来发现是NVLink拓扑没调对，PCIe通道被挤占了一半，这破事要是早点查BIOS设置，哪用得着拆了重装？

　　耳机戴久了耳朵疼，我摘了揉两下，继续说：选型这事儿，优胜劣汰的“汰”比“优”重要十倍。上周帮王工看他的训练集群，8张3090插在消费级主板上，电源是海韵850W——我段位其实不高，但这种配置连跑三小时必炸，果不其然，第二天他跟我说“训练到一半黑屏了”。后来查日志，发现是PCIe供电过载，主板电容烧了俩，这哪是“全栈调优”，分明是“全栈踩雷”。

　　外卖送到了，我起身开门，回来时键盘上沾了点油，那个空格键声音跟别的不一样，敲起来“咔嗒”响。老李在语音里咳嗽两声，说：“你刚才说电源，那要是用服务器电源呢？”我坐下，椅子歪了半寸，充电线不够长，只能斜着坐：“服务器电源？比如铂科的1600W？那玩意儿得配双路供电，消费级主板根本带不动。去年我试过用HPE的DL380 Gen10插4张V100，结果主板BIOS锁了PCIe插槽功率，最后得刷第三方固件才解开——这操作我也就打了个大概，刷完差点变砖。”

　　老张插嘴：“那直接买DGX Station不就行了？”我笑了：“DGX？那玩意儿是给土豪玩的。我见过最离谱的，某实验室买了台DGX A100，结果发现他们训练的数据量连1/10的GPU都用不满，剩下的时间全在跑‘top’命令看负载——这钱烧得，比我家楼下烧烤摊的炭还快。”耳机里传来老李的笑声，他那边键盘声噼里啪啦，估计在记笔记。

文章配图，仅供参考

　　室友在旁边煮泡面，香味飘过来，我咽了咽口水，继续说：调优最忌讳“拍脑袋”。比如有人觉得“把batch size调大就能提速”，结果调太大导致OOM；或者“把学习率调高就能收敛快”，结果loss直接炸飞。去年我帮一个创业团队调模型，他们非说“我们的模型特殊，不需要梯度裁剪”，我原以为他们有数据支撑，结果他们只是“觉得裁剪会限制梯度”——后来跑了两小时，梯度爆炸，参数全变成NaN，那叫一个惨。

　　老李问：“那全栈调优到底调什么？”我掰着手指头数：“硬件层面，得调PCIe带宽、NVLink拓扑、电源分配；软件层面，得调CUDA内核、cuDNN版本、框架的并行策略；数据层面，得调预处理流水线、数据加载速度、缓存策略——任何一个环节没调好，整体性能都得掉。比如去年十月那台A100集群，最后发现瓶颈在数据加载——他们用Python的PIL库处理图片，速度慢得离谱，换成OpenCV的并行模式，训练速度直接提了30%。”

　　突然想到个反常识的事：有时候“更贵的硬件”不一定“更快”。比如3090和A100，单卡性能A100强，但3090有24GB显存，跑大模型时反而更稳。去年我们试过用A100跑GPT-3 13B，结果显存不够，得用模型并行，通信开销大得离谱；后来换3090，虽然单卡慢，但不用并行，整体时间反而更短——这就像打游戏，有时候“装备好”不如“操作骚”。

　　老张说：“那选型到底看什么？”我沉默两秒，说：“看需求。如果训练小模型，3090够；如果训练大模型，A100或H100；如果跑推理，T4或A2000更划算。但最关键的是——别信厂商的‘推荐配置’，他们只会推荐最贵的，不会推荐最合适的。去年十月那波选型，我们最后选了8张A40，比A100便宜一半，性能只差15%，但散热压力小很多，机房噪音从70分贝降到50分贝——这钱省得，比买降噪耳机值多了。”

　　耳机里突然安静，老李说：“你刚才说A40，那玩意儿不是推理卡吗？”我笑了：“推理卡？A40的FP16性能比V100还强，跑训练也够用。厂商说它是推理卡，只是不想让它抢A100的市场——这就像游戏厂商说‘我们的显卡是入门级’，结果玩家发现它能跑4K光追。”老张在那边“啧啧”两声，说：“受教了。”

　　充电线实在不够长，我歪着身子敲键盘，突然想到个事：去年帮一个高校调集群，他们买了16张A100，结果发现机房的PDU（电源分配单元）只有8个插口，每张A100需要2个插口——最后只能轮换着用，白天跑8张，晚上跑另外8张，这操作，比“限时活动”还离谱。后来他们买了个更大的PDU，问题才解决——这钱烧得，比买显卡还冤。

　　老李问：“那全栈调优有没有‘一招鲜’？”我摇头：“没有。每个集群都有自己的‘脾气’，得慢慢摸。比如有的集群对PCIe通道数敏感，有的对内存带宽敏感，有的对存储I/O敏感——调优就像调琴，得听声音，看数据，试参数，没有固定公式。去年十月那波选型，我们调了整整两周，才把GPU利用率从60%提到90%——这过程，比打排位上分还累。”

　　耳机里传来老张的笑声：“那你现在算‘高手’了吗？”我摸了摸鼻子：“我段位其实不高，只是踩过的坑比你们多点。选型和调优这事儿，优胜劣汰的‘汰’是关键——踩过的坑越多，越知道哪些配置是坑，哪些操作是雷。就像打游戏，死多了才知道怎么走位，被Gank多了才知道什么时候插眼——这道理，放哪儿都通。”

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!