Microsoft Phi-3 AI Model deploy in local pc @LM Studio，Support LLAMA3，API，similar to GPT 3.5，safe

Рет қаралды 6,734

Күн бұрын

Summary：
1. 1. Phi-3 Artificial Intelligence Small Language Model Introduction
2. LM Studio & Phi-3 Model Download and Installation Configuration
3. Running Phi-3 and Trying Phi-3 Chat bot
LM Studio download[441M]: lmstudio.ai/
Phi-3 download[2.2G]：huggingface.co/microsoft/Phi-...
Phi3 is very small, works on My test PC:
CPU: AMD Ryzen 7 5800H with Radeon Graphics 3.20 GHz
RAM: 16.0 GB
GPU: Integrated with cpu, AMD Radeon(TM) Graphics

Пікірлер: 28

@user-xx3ou6cg6m Ай бұрын

您这边是什么配置的电脑？我这有台5800U的AMD小主机想拿来做测试，但不知道AMD的集成显卡在模型运行上能有什么样的效果

@BKT-AIoT Ай бұрын

就是一个词一个词的出来，CPU，显卡实际占用也就30%多。视频下方放的有我的配置。

@ttxiaohahareveal8268 Ай бұрын

我的m1 16GB的运行很流畅哦，和使用chatgpt一样，感觉还流畅些

@kaitaoCheng Ай бұрын

@@ttxiaohahareveal8268 我的m1芯片16gpu mac跑llam3可以，带phi mini好卡

@yan_yan_1995 25 күн бұрын

@@ttxiaohahareveal8268 請問 m1 還是 m1 pro ?

@BKT-AIoT Ай бұрын

有人提出下载太慢，我正在上传到百度网盘，稍后放出地址

@ttxiaohahareveal8268 Ай бұрын

LM Studio 里面已经有phi-3的模型了哦

@BKT-AIoT 29 күн бұрын

这个和网络有关系，你用的透明梯，就应该可以看到。

@allen-lee Ай бұрын

发现在预设preset中选择phi3，弹框中选择保持系统设置，回答能变快一些。

@BKT-AIoT 29 күн бұрын

你的机器什么样的配置啊？显存有多少？能装下模型不

@allen-lee 29 күн бұрын

@@BKT-AIoT 老游戏本6G显存，可以装下2G的模型

@kaitaoCheng Ай бұрын

很奇怪，说模型小，我的m芯片16gpu mac跑llam3可以，带phi mini好卡

@BKT-AIoT Ай бұрын

前面有人说m1 16GB的运行很流畅。

@BKT-AIoT 29 күн бұрын

最新一期视频有我提高运行速度的一些优化设置，看看是否对你有用。

@cheyohou47 Ай бұрын

看来博主也是在深圳

@SGTK66668 Ай бұрын

深圳+1

@user-ec6he5jj5f Ай бұрын

既然做自媒体，拾音设备弄好点嘛

@BKT-AIoT Ай бұрын

刚开始，还没有专业设备。设备会改进的，感谢支持！

@ttxiaohahareveal8268 Ай бұрын

阿里云不支持gguf格式的分享哦，都已经上传完了😂

@BKT-AIoT 29 күн бұрын

不知道阿里云为什么要做这种没有意义的限制。他限制格式，我就压缩再上传，这样就会存在多个不同压缩方式的文件，占用控件更大。还有百度云，竟然免费版的要限制不能大于4G，同样是没有意义的，我多卷压缩再上传就给他破掉了，而且占用他更多的磁盘空间。

@masatakehayashi427 Ай бұрын

打雷了？好大声音。

@BKT-AIoT Ай бұрын

是的，近期豪雨

@yangli7586 Ай бұрын

这个也不是本地吧

@BKT-AIoT Ай бұрын

是在本地运行的。是不联网的。

@kavinsmith9777 Ай бұрын

作为中文模型使用，真的比较一般，不知道有没有训练过的中文版

@BKT-AIoT 29 күн бұрын

你主要是处理哪方面的应用？

@kavinsmith9777 28 күн бұрын

@@BKT-AIoT 主要是中文写作