部署本地大模型和知识库，最简单的方法

Рет қаралды 29,712

3 ай бұрын

Ollama + AnythingLLM，部署本地私人知识库。
⭐️ 视频中提到的产品 / 项目 👇
➡︎ Ollama: ollama.com/
➡︎ Open WebUI: github.com/open-webui/open-webui
➡︎ Anything LLM: useanything.com/
⭐️ 更多相关视频 👇
➡︎ PC Hardware for Local LLM: • 本地跑大模型，需要什么配置
➡︎ Ollama + Hugging Face: • Ollama + Hugging Face：...
➡︎ Ollama + ngrok: • 本地知识库，外网也可以访问
===========================
加入付费社群，提问 / 交流
===========================
🔥 知识星球：t.zsxq.com/19IaNz5wK
===========================
墙内用户来微信平台来找我
===========================
⚡️ 视频号：黄益贺
⚡️ 公众号：newtype 超级个体
===========================
我的理念 + 我想干什么
===========================
🤖️ 我坚定认为：1、AI是我们这代人一生一遇级别的机会。2、内容和代码是这个时代最重要的杠杆，大过资本和人力。
🤖️ 通过分享关于AI的Why和How，通过内容和社群，聚集像我一样希望成为【超级个体】的人。

Пікірлер: 64

@huanyihe777 Ай бұрын

Patreon已上线，欢迎加入：www.patreon.com/newtype_ai newtype是我创建的社群。之前开通了知识星球，面向国内小伙伴，已经运营三个月。现在有了Patreon，海外的小伙伴也可以加入讨论了。

@WalidDingsdale 3 ай бұрын

这绝对是个人知识库方面的好消息。谷歌的notebookLM已试用，阿里的千问据说也非常给力，一切可定制、私密化应用很快就会成熟起来，只是本地化对机器要求太苛刻。

@user-dx8gm4fl1l 3 ай бұрын

简单明了，真的很赞

@fangliu1369 Ай бұрын

真牛

@TS-vr6dr 3 ай бұрын

牛🐮 👍

@leitao2073 14 күн бұрын

牛

@user-XJ1201 25 күн бұрын

拉取openwebui时，报错 docker:unexpected EOF。已更改了docker的镜像源，也是最新版的docker desktop版本，就是有一个文件没法拉取；现在改用chatbox来替代了

@zhulin6948 17 күн бұрын

安装docker后运行docker run 无法打开web ui，卡在命令行没有反应是啥情况呀，哥

@tng-vz1hy 18 күн бұрын

为什么我的ollama在运行模型的时候cpu占用很高，gpu占用很低?谢谢

@fangwang-we5tx 2 ай бұрын

请问老师当我把一个csv文件放到workspace里的时候报Ollama Failed to embed:[undefined]: undefined是什么原因啊？

@huanyihe777 2 ай бұрын

可能是嵌入模型没下载好？你换OpenAI的试试

@josephinechen5968 2 ай бұрын

另外还想请教您l两个问题，1是看您演示放的是PDF和网页，anything LLM可以放md文件么，2是结合您另一个视频，讲到text generator在obsidian设置里面，我想问下base path那栏应该在哪里找，model那栏我知道应该填llama 3：8b？

@huanyihe777 2 ай бұрын

1、可以，支持md格式。2、我现在都用LM Studio，在Custom选项里设置：Endpoint填localhost:1234/v1/chat/completions；api key填lm-studio。

@user-om8dv8ot4n 3 ай бұрын

期待更新

@huanyihe777 3 ай бұрын

新的一期在制作了😉

@jason8007 2 ай бұрын

视频1分53秒中要求复制dockers的一段命令，这个命令在哪里呀，你的简介中没有地址链接呢

@huanyihe777 2 ай бұрын

github.com/open-webui/open-webui

@jinyuYu-du3ry 3 ай бұрын

请问老师的电脑什么配置呀，用默认的embedding模型和向量数据库，上传一个2M的pdf，快20分钟了，目前还没出来，也不知道处理进度在哪里看TAT

@huanyihe777 3 ай бұрын

我的配置挺差的。CPU是i7 9700k，两根8G内存，这些都是2019年配的。后来为了直播和剪视频，加了一块3060显卡。所以，本地跑大模型并不需要特别夸张的配置。

@ibmtransnote 3 ай бұрын

你好，我的OLLAMA是安装在windows server 2019上的，docker无法安装。那么如何使用open webui呢？

@huanyihe777 3 ай бұрын

官方提供了别的安装方法：docs.openwebui.com/getting-started/installation

@user-cf4fq2kw2e 3 ай бұрын

当我把my document的文件放入my worlspace 里面的时候，总是报错，文件没法上传到my workplace，是什么原因？

@huanyihe777 3 ай бұрын

报错的具体内容是啥？会不会是不支持的文件格式

@user-cf4fq2kw2e 3 ай бұрын

报错原文“Error: 1 documents failed to add. fetch failed.” 我上传的是pdf文件 @@huanyihe777

@windholygainsborough3653 2 ай бұрын

請問這需要的是內存還是顯存？

@huanyihe777 2 ай бұрын

Ollama用CPU也可以跑，不过最好有GPU

@kesijack 3 ай бұрын

老师，什么时候出AI工具和工作流程的视频啊

@huanyihe777 3 ай бұрын

在策划中

@markluo1194 3 ай бұрын

😍

@huanyihe777 3 ай бұрын

🥳

@HgameForever 3 ай бұрын

想問一下我之前有聽說過langchain, 不知道跟langchain比較起來差異在哪?

@huanyihe777 3 ай бұрын

完全不是一个类型。LangChain是一个框架，方便开发人员用来开发应用

@thomas08088 Ай бұрын

默认位置在C盘，如何移到D盘？

@huanyihe777 Ай бұрын

更改Ollama的模型位置？需要添加环境变量。我在知识星球里发过。或者你google一下就有方法

@YiCheng-cf5hq 2 ай бұрын

请问本地能跑这种大模型，那能进行微调不呢？

@huanyihe777 2 ай бұрын

可以微调

@YiCheng-cf5hq 2 ай бұрын

@@huanyihe777 是部署到本地后, 直接就能微调了么，这个怎么实现呢（完全小白）

@user-dn9ke8pk9x 2 ай бұрын

@@huanyihe777 同问，也算小白，这个傻瓜式的部署，怎么微调，如果不行，需要微调的话，要用什么替代AnythingLLM？另外，AnythingLLM能让同一内网的其他电脑访问吗，网页形式的那种？想部署一个，让内网的其他电脑可以访问使用，应该怎么做呢？

@micheleyu3125 2 ай бұрын

anythingLLM读不了ollama，但其它软件chatbox可以读出ollama模型列表，怎么解决？

@huanyihe777 2 ай бұрын

不懂，可以去官方GitHub提交个issue问问

@zonghengpu2235 2 ай бұрын

anythingLLM 会不会存在数据安全的问题？本地大模型主要就是想保护数据隐私

@huanyihe777 2 ай бұрын

模型和数据库都选择本地，那数据就都在本地

@junyehu2315 Ай бұрын

一定要用docker吗？自己电脑不是服务器不想装docker😂

@huanyihe777 Ай бұрын

反正官方教程是docker。装一个也没啥坏处

@rickkliu Ай бұрын

我在ollama下载了llama2试了一下即便加了#，llama2好像并不会联网搜索分析结果吧？

@huanyihe777 Ай бұрын

根据你提供的网页或者文档进行回答

@xiaomowa 2 ай бұрын

为什么我的8G跑4B的模型都那么卡

@huanyihe777 2 ай бұрын

换个再小一点的模型

@gossipGirlMegan 3 ай бұрын

anythingLLM是收费的，而且很高，有开源的平替吗？

@huanyihe777 3 ай бұрын

免费的啊，云存储才收费

@jz1818 2 ай бұрын

如果PDF是掃描檔呢

@huanyihe777 2 ай бұрын

模型有读取的能力就行

@land-x5678 10 күн бұрын

有赚钱的项目吗

@josephinechen5968 2 ай бұрын

也下载了Ollama + AnythingLLM，但是不知道为什么Ollama打不开，是电脑需要额外更改什么么？

@huanyihe777 2 ай бұрын

不用啊，就是正常安装

@josephinechen5968 2 ай бұрын

@@huanyihe777 抱歉，因为我不是专业的，所以不懂很多，刚查了很多才了解，可能是需要装docker的

@huanyihe777 2 ай бұрын

Ollama可以直接安装，不需要docker。官网就能下载

@user-fz4vn1jg2g Ай бұрын

按照您讲解的方法已经在本地部署了ollama+docker+anythingllm，我想实现的目的是，工作中需要管理10家店铺，每家店铺的租赁合同我想让大模型学习，然后根据需要对大模型提问让其回答我的问题。诸如“今天是2025年5月26日，最近一次我要哪天交纳房租，房租金额是多少？”“今年下半年需要缴纳的费用有哪些，分别是多少，汇总是多少？”等。这个需求可否实现？对学习的文档有要求吗？我用anythingllm上传了pdf（扫描版)和doc的文档，但是都无法回答我的问题。同样的操作使用gpt4o就很容易完成。我是哪些细节没有注意到吗？不支持中文吗？

@AC-pw7rl 27 күн бұрын

我对你的具体情况有以下几点建议: 文档格式:上传pdf和doc格式理论上都是支持的,但扫描版pdf可能存在OCR识别问题导致信息提取不完整。建议尽量使用原始的可编辑的电子版合同文档。如必须使用扫描版pdf,需要先进行高质量的OCR转换为可编辑的文本格式。中文支持:理论上Llama系列模型架构是语言无关的,支持中文。但具体的模型是用什么语料进行训练的很关键。你提到的ollama模型我不太了解具体的中文支持程度。建议优先选用经过大规模中文语料训练的开源模型,如ChatGLM、Moss等。或考虑在ollama的基础上追加中文语料进行继续训练。 Few-shot prompting:为了让模型更好地理解你的需求,建议在查询时给出一些示例,描述清楚你希望模型如何从租赁合同中提取关键信息并进行整合回答。比如给出1-2个示范性的提问-回答。文档粒度:如果是分别上传每个店铺的租赁合同,模型可能不太容易对不同店铺的信息进行整合。建议将所有店铺的关键信息提取归纳到一个汇总文档中,以表格的形式列出各店铺的房东信息、租期、租金、缴费时间、其他费用等,并在必要时索引原始合同以备查询。这样会更利于模型学习。知识管理:你可以考虑搭建一个本地知识库,将租赁合同信息以更结构化的方式录入并建立索引。在用户提问时,先用信息检索的方式查询知识库,取得候选结果,再交给语言模型根据问题生成最终答案。这样可以改善准确性。转换文档格式：将扫描版 PDF 转换为可搜索的 PDF 或纯文本 (txt)。将 DOC 转换为 Markdown (md) 或纯文本 (txt)。提取关键信息：使用工具 (如 Python 脚本) 从文档中提取租金金额、缴纳日期等关键信息，并将其整理成结构化数据 (JSON 或 CSV)。上传结构化数据：将结构化数据上传到 AnythingLLM。您可以尝试使用 LangChain 等工具，它可以帮助您更轻松地管理和查询文档。确保您的提问清晰、具体。例如，不要只问 "我什么时候交房租？"，而是问 "今天是X日期，我最近一次要哪天交房租？" 总之,我认为你的需求是可以实现的,但需要一定的优化。选用合适的中文预训练模型,对文档进行必要的预处理和组织归纳,通过few-shot prompting引导模型回答,必要时结合知识库,有望达到比较好的效果。不过即使如此,语言模型毕竟还是有可能产生幻觉,对于关键的费用数字等信息,建议最好还是要人工复核确认。