【人工智能】如何搭建10万个H100的GPU集群 | 40亿美元成本| 电力150兆瓦 | 并行化挑战 | 网络拓扑结构 | 可靠性与恢复

【人工智能】如何搭建10万个H100的GPU集群 | 40亿美元成本| 电力150兆瓦 | 并行化挑战 | 网络拓扑结构 | 可靠性与恢复 | 成本优化

Рет қаралды 7,949

4 күн бұрын

今天我们来聊一个非常硬核，但是对于一般人来说可能不一定有用的话题，那就是如何搭建一个10万个H100 GPU的集群。
原文链接：www.semianalysis.com/p/100000...
成为此频道的会员，即可享受提前一天，观看频道最新发布视频的福利：
/ @bestpartners
#人工智能 #gpu #h100

Пікірлер: 59

@FooFighter5212 2 күн бұрын

我也是飘了，连这样的节目也敢看了😂

@auroroabc Күн бұрын

还开了倍数……

@carloshsueh9195 Күн бұрын

演算法真是太看得起我了，還推薦我這樣的影片，可見對我還有點期待😂

@austinsu5838 2 күн бұрын

早說嘛！原來這麼簡單，明天就來搭建一套😂

@bestpartners 2 күн бұрын

赞，我就知道有人有一片园区的😁

@kangcc912 14 сағат бұрын

是不是可以戰略合作。 google、open AI等共同搭建，各自訓練。以君子協議或其他契約限制公開的D day，可能同時同天，也可能基於其他參數調整發布的先後順序。

@fan5188 Күн бұрын

哇，原来跟我一起看大飞视频的还有Nvidia的大佬。十分荣幸😊

@samzong 20 сағат бұрын

真硬核，学习到了

@scchen2011 Күн бұрын

很棒的一集，benchmark的算力作法😊😊

@changxu21 2 күн бұрын

让我想起了五六十年代的巨型计算机，而算力还不如当今的计算器。也许大飞描述的10万卡，再过十年也就一个机柜的算力。

@bestpartners 2 күн бұрын

嗯，真搞不好

@Guavaava 2 күн бұрын

@@bestpartners感觉很难。现在制程升级速度慢了很多很多

@shixiancui6870 Күн бұрын

@@Guavaava 算法上还有很多的可以优化的

@zhaocaixiaoDU 2 күн бұрын

优秀

@user-zb7ex4ue3y 2 күн бұрын

謝謝

@wonmanintp 23 сағат бұрын

老馬就要建個10萬個H100，再建個30萬顆GB200 總價要90億美刀

@icatzhao6780 2 күн бұрын

牛逼啦

@user-fp2xk6tu9l Күн бұрын

不管在簡單的工作，當它的規模大到一定程度的時候，都會變成極度複雜的工程

@zhiboli8306 2 күн бұрын

学习了，虽然大概率用不到🤣

@zohar6006 2 күн бұрын

老黃都幫你安排的整整齊齊

@mactive 3 күн бұрын

大飞以后会有机会搭建的

@HarimotoSatoshi Күн бұрын

大飞忘记讲最关键的一个话题，即如何搞定40亿美元，期待更新中😂😂😂

@bestpartners Күн бұрын

哈哈，这是个好话题

@zcq6516 2 күн бұрын

只要scaling law没有看到尽头，集群的规模也看不到尽头

@havenqi3261 2 күн бұрын

指明了devops的未来😂

@yangyang1412 2 күн бұрын

哥你很幽默喔你覺得你的ta有誰有能耐或需求要知道怎樣搭100k h100 cluster

@vincentwang9599 3 күн бұрын

这期硬核系列不过依旧感兴趣对想了解AI产业的人来说（大飞最近换收音设备了吗）

@bestpartners 3 күн бұрын

没换，是收音有什么问题么

@vincentwang9599 3 күн бұрын

@@bestpartners没什么问题，不过听上去有种空旷感，个人感觉是回音造成的。

@bestpartners 3 күн бұрын

@@vincentwang9599 好的，我看看怎么调整下

@kaizhu1142 2 күн бұрын

Leaf交换机就可以，不需要翻译成叶交换机。

@bestpartners 2 күн бұрын

@changxu21 2 күн бұрын

我想问一下各位大佬，未来ai算力是趋于集中还是趋于分散或者分布式？对于2-5年没什么好讨论的集中更多算力才能训练更大的模型，如果把时间尺度放到10-20年是一个什么趋势？

@hubertw9752 Күн бұрын

个人认为：基于目前的GPU技术，AI算力希望不断扩容但是电力无法支撑算力集中，趋势是跟随电力资源去分布算力。如果下一代专门针对LLM的TRANSFORMIER计算的专用芯片成功推出，能耗承几十倍的下降，算力分布会向集中靠拢。电力的供应和消耗成为驱动因素。

@changxu21 Күн бұрын

似乎有些思路了，也就是说算力本身是趋向于集中，而受限于电力供应，不得不考虑能源分布，而导致算力分散。是这个意思吧？从生物界也许能推出这个结论，单个生物体的神经元规模越来越大，就像人类为了发育足够的脑容量，"早产"出生。

@hubertw9752 Күн бұрын

@@changxu21 目前GPU的解决方案是把并行计算发挥到及至，在处理有大量数据背景的AI问题上远超CPU。就是老黄说的“加速运算”。但都是数据及运算分离的，大量资源消耗在数据搬运上，所以能耗惊人。因为电力瓶颈所以算力分散。美国好像目前有多达16家创新公司在搞核电。哪天核能突破，电力瓶颈就会消失。即便算力集中了可是数据中心的位置又会受到散热、水源左右，会建在远离城市的海边、湖边或两极；人脑不然，860多亿神经元，整个功率大概20W。据称结构是存算一体的。计算机是硅基的而人脑是碳基的。从材料到信息原理，人脑到底是如何工作已经能否被“仿生” 还是一个未知数，无法类比。