如何知道一个大模型在推理和训练时需要多少显存？

Рет қаралды 6,091

4 ай бұрын

为您介绍一个大模型所需显存的计算工具。通过它，您就可以快速了解一个模型是否可以在自己的显卡上使用了。
#LLM #大模型 #accelerate #estimate-memory #GPU #显存 #Huggingface #transformers #gemma #mistral #qwen

Пікірлер: 15

@techdiylife 4 ай бұрын

视频对应的文档（包含代码，以及详细的说明）：techdiylife.github.io/blog/topic.html?category2=t05&blogid=0031

@RiverDong 3 ай бұрын

这个测试的是Batch size=1的情况？

@user-wz3dp5ej5k 19 күн бұрын

请问本地安装和网页不同，则选择哪种呢

@zcz1595 4 ай бұрын

能请教一下M2芯片统一内存架构32GB的Mac book pro在本地部署LLM方面大概能相当于多少GB的独立显存吗？

@techdiylife 4 ай бұрын

应该与Windows一样，内存作为共享显存。可以理解为32G 减去其他程序占用的内存

@zcz1595 4 ай бұрын

@@techdiylife 谢谢回复，听up这么一说感觉好像我的mac又行了

@abner7502 3 ай бұрын

@@techdiylife win下面，假如我电脑上的显卡就4GB显存，如果离线模型超过4GB大小，是不是我就不能用GPU来加速了，只能用CPU？

@clarinetlatoya 2 ай бұрын

@@abner7502 爆显存了

@taurusduan9715 2 ай бұрын

@@abner7502 可以，通常win10情况下可以使用3.8GB的显存+内存。只要你的内存够大，可以使用20gb的模型，超过这个体量可能会没有意义。

@user-ed6rh4es5m 22 күн бұрын

你好，请问为什么int8和int4的Training using Adam 给的数据是N/A

@techdiylife 22 күн бұрын

你要使用量化模型进行训练吗？量化模型训练需要一些特殊的处理。可以去网上找找参考代码。

@Sawyer0823 3 ай бұрын

想請問mistral large需要多少的記憶體大小? 4x H100 80GB?

@techdiylife 3 ай бұрын

Mistral large不开源，参数量好像都没有公布，没法知道它到底需要多少资源。开源模型，你可以使用这个工具大体来判断：huggingface.co/spaces/hf-accelerate/model-memory-usage 这里有我做到一些对比： techdiylife.github.io/blog/blog.html?category1=c02&blogid=0031

@yushengyang2 4 ай бұрын

能否提供連係方式？

@techdiylife 4 ай бұрын

感兴趣的话可以加入下面的微信交流群，两个群主题不一样： AI共学会：LLM部署实战交流 techdiylife.github.io/blog/blog.html?category1=c05&blogid=0032 AI共学会：Transformers开发百问（最新建立） techdiylife.github.io/blog/blog.html?category1=c05&blogid=0035