7 сағат бұрын
Күн бұрын
14 күн бұрын
21 күн бұрын
Ай бұрын
Ай бұрын
Ай бұрын
Ай бұрын
Ай бұрын
2 ай бұрын
2 ай бұрын
2 ай бұрын
2 ай бұрын
2 ай бұрын
3 ай бұрын
3 ай бұрын
3 ай бұрын
3 ай бұрын
3 ай бұрын
4 ай бұрын
4 ай бұрын
4 ай бұрын
4 ай бұрын
4 ай бұрын
4 ай бұрын
4 ай бұрын
5 ай бұрын
5 ай бұрын
5 ай бұрын
Пікірлер
@wonyy123 3 сағат бұрын
树莓派跑大模型？
@JasonTellsStories Күн бұрын
用Marker的时候一直出现这个错误，OSError: [WinError 126] The specified module could not be found. Error loading "C:\*****\lib\site-packages\torch\lib\fbgemm.dll" or one of its dependencies. 有大神遇到过吗
@huanyihe777 Күн бұрын
你把报错信息贴给GPT问问，或者Google一下
@cia1099 Күн бұрын
哦😊超有用的视频啊，pdf真的烦
@huanyihe777 2 күн бұрын
KZfaq会员：kzfaq.info/love/PpdGTNbIKdiWgxCrbka4Zwjoin Patreon：www.patreon.com/newtype_ai 知识星球：t.zsxq.com/19IaNz5wK
@waynechiu9078 2 күн бұрын
MinerU瞭解一下
@huanyihe777 Күн бұрын
安装了
@origeniuslaw3288 2 күн бұрын
marker我用了很久了，挺不错的，那个在线不知道会不会效果好点？
@huanyihe777 2 күн бұрын
我感觉Mathpix效果很不错，可以试试。免费转10页
@limjuroy7078 3 күн бұрын
可以说下Colpali吗？最近也很像很红。再来，我想把你的影片翻译成英文然后发给我的马来同事😂 我是大马华裔。
@huanyihe777 2 күн бұрын
好的，我今天看看去
@benwong5667 3 күн бұрын
可以通过本地AI模型接入本地知识库，然后接入微信进而演变成 微信AI客服呢？
@huanyihe777 3 күн бұрын
可以
@user-xn5pw9cb3w 3 күн бұрын
666 is very 6
@user-kr2ki4fo4j 3 күн бұрын
现在最新的模型里面哪个对中文支持最好呢，llama3.1如何
@huanyihe777 3 күн бұрын
Llama3.1不行。要开源、中文的话，用国产的吧
@qiuchenzhang3721 3 күн бұрын
视频内容很好，但是标题太绝对了，很抱歉！属实有点标题党的样子了，例子举的是huggingface中的模型，但是huggingface上的模型并不全有gguf格式的，虽然有工具可以转化为gguf格式的，但是据我所知也不全支持所有大模型架构的。如果视频中能够介绍当没有gguf格式的，该如何转换，那么视频的标题和内容就很完美
@huanyihe777 3 күн бұрын
KZfaq会员：kzfaq.info/love/PpdGTNbIKdiWgxCrbka4Zwjoin Patreon：www.patreon.com/newtype_ai 知识星球：t.zsxq.com/19IaNz5wK
@bittergourd 4 күн бұрын
可否区分一下建立索引和单次检索的开销（时间，金钱）？谢谢。11美元如果是建立graph和rag的开销，之后单次检索能控制在cent数量级也不是不能忍。
@huanyihe777 3 күн бұрын
10美元建立索引。关于低成本使用方法，我昨晚发了视频，在KZfaq会员频道
@user-lr5lw5wv9i 4 күн бұрын
你好想請教一下 想我已經gpt 產出的一串代碼粘貼到 vs code但他旁邊沒有預覽的畫面 清問是哪個地方出錯了嗎
@huanyihe777 4 күн бұрын
安装Marp for VS Code
@jingdongli2573 5 күн бұрын
这浏览器可以和lm联通嘛？
@huanyihe777 5 күн бұрын
可以
@jy03189211 6 күн бұрын
491 次 api 调用以后生成知识图谱，那之后的问答应该不是一次十几美元吧？生成完图谱之后就没有这么高的成本了了吧？
@holsetyhuang2435 4 күн бұрын
确实，所以可以生成图谱然后卖图谱？
@huanyihe777 3 күн бұрын
10美元建立索引。关于低成本使用方法，我昨晚发了视频，在KZfaq会员频道
@user-ws1ov4ub1f 7 күн бұрын
确实是要Go Fundamental，往深里去。学者王云五就曾说：为学当如群山式，一峰突起众峰环。非常认同视频中所讲到的--到达这个山峰的最高点就很容易看到另一个山峰的最高点。
@lilaxe5715 8 күн бұрын
讲得挺好，感谢分享
@mavershang 8 күн бұрын
ollama + mistral linux 本地成功，问题是query的时候很慢，200 token花了140s。另外一个问题是不知道是不是我配置有问题，ollama只能用到一块GPU。机器是4x A100 40GB
@ericxu9566 6 күн бұрын
请问试过geema2:27b没，感觉中文它更强
@huanyihe777 3 күн бұрын
Ollama好像是自动分配CPU和GPU
@afonsode419 9 күн бұрын
這講的很好 可惜還是虛了點 您可以舉一百個例子 做個一百期 具體的應用 讓更多人開釋
@huanyihe777 9 күн бұрын
等我自己积累多一些，就再来一期分享
@hhhlll6510 9 күн бұрын
太厉害了
@zhulin6948 9 күн бұрын
请问博主，Qwen2用ollama运行的时候无法直接读取网页链接，gemma就没有问题，这个是大模型功能问题吗
@huanyihe777 10 күн бұрын
Patreon已上线，欢迎加入：www.patreon.com/newtype_ai
@user-sq1jv7fc5g 11 күн бұрын
之前用llama-index做过类似的事情，发现graph类型的索引在后期维护的时候非常困难，尤其是跨文档的关联还有索引删除的时候，不知道是不是我对于graph索引的理解不到位
@huanyihe777 3 күн бұрын
这确实是大问题。当文档、数据集发生变化时，又得再来一遍索引创建，很头疼。
@qiuchenzhang3721 11 күн бұрын
如果模型没有gguf文件，怎么办呢
@xinchen6512 11 күн бұрын
听你讲的感觉，目前确实用不了这个玩意，等等新的好用的：）
@dingkuns 12 күн бұрын
中国大陆产的软件，还涉及到核心业务，坚决不用
@cocoamax8100 13 күн бұрын
你使用本地模型跑，慢的原因应该不是模型参数体量的问题，大概率是你本地GPU估计不行，token吐的慢
@呀咧呀咧 13 күн бұрын
會這麼貴的另外一個原因是因為你用了gpt4-turbo而不是gpt-4o
@huanyihe777 13 күн бұрын
用gpt-4o降一半也还是贵
@bittergourd 4 күн бұрын
@@huanyihe777 所以mini来了
@chowx4gt-gc8io 14 күн бұрын
tqvm
@weijunLeung 14 күн бұрын
有没有dify的系列课程？适合非代码人员学习的？
@tonyw8321 14 күн бұрын
API 换成 gemini 1.5 flash 会快很多。而且便宜很多。 但我不知道他支不支持gemini
@rogerroan7583 15 күн бұрын
刷老闆的卡就不心疼了
@lee1221ee 15 күн бұрын
11美元會不會是生成entity，只需跑一次而已，後續每問一次比較便宜？
@huanyihe777 15 күн бұрын
索引大概要10美元
@LordRayleigh55 15 күн бұрын
关于使用本地大模型方面，试了Ollama+Mistral+Nomic，通过github上的一些tricks可以构建索引，但是query的时候本地模型好像不能生成json格式的responds，导致报错；后面估计GraphRag更新之后可能会解决。 但是本地模型效果可能还是能力有限
@tudminer 15 күн бұрын
ollma 的 llama3 做出来效果好吗
@huanyihe777 14 күн бұрын
肯定是不如GPT-4的，毕竟性能摆在那里。
@yaoren549 15 күн бұрын
本地模型嵌入不能用lm-studio，需要用llama.cpp
@bochen0210 15 күн бұрын
This video didn’t age well I guess😮
@zxjason 16 күн бұрын
我刚看了一个老哥用ollama和GraphRAG一起
@huanyihe777 15 күн бұрын
Ollama和LM Studio，各种组合都试过了，不行。不知道是不是Windows系统的原因
@huanyihe777 15 күн бұрын
别人在Mac、Ubuntu成功了
@adrenfu6238 16 күн бұрын
能采用 hosted llama3 70b 比如deepinfra 平台，成本低也很快
@HomunMage 16 күн бұрын
很認同，其實最終就是要走localLLM，但目前GraphRAG只能靠gpt4 api key
@manyes7577 13 күн бұрын
3.5不是比較便宜 為什麼要用4
@HomunMage 13 күн бұрын
@@manyes7577 能力完全在不同次元
@HomunMage 12 күн бұрын
@@manyes7577 跑這種演算法都要api key喔 只有網頁版的聊天才不用付費 另外 3.5和4o解決能力在不同次元
@HomunMage 12 күн бұрын
@@manyes7577 因為能力完全在不同的次元
@richardchieng9252 16 күн бұрын
这个成本是分两部分的吧，建立索引多少消耗，单次查询多少消耗，能不能分开给一下数据？如果大头在建立索引，而单次查询的边际成本可控的话，我觉得这个还是比较有前途的
@huanyihe777 15 күн бұрын
在我这个例子里，索引大概要10美元
@richardchieng9252 15 күн бұрын
@@huanyihe777 多谢分享👍
@Sulzbach-dk7ov 16 күн бұрын
一本書summary30分鐘+11美金不是問題，這個成本還是比真人便宜太多了。想像一下一間出版社直接用這個來審內容，一天一個api key可以500美金審完48本書，比工讀生還便宜
@chungrandy780 16 күн бұрын
但是如果要對書中內容進行多個問答，就會是很嚇人的成本了
@huanyihe777 15 күн бұрын
在我这个例子里，索引大概要10美元
@guocity 16 күн бұрын
能共享一下github 库吗？
@youwang9156 16 күн бұрын
up主 有微信群吗，求加
@huanyihe777 16 күн бұрын
没有，只有知识星球或者Patreon
@dennislau1440 16 күн бұрын
非常好的视频！@huanyihe777 有没有找环境试一下开源的：通义千问或者70B的LLama3私有化部署效果怎样？这样成本就下来了。
@huanyihe777 12 күн бұрын
试过了，不成功，报错
@dennislau1440 12 күн бұрын
@@huanyihe777 感谢🙏
@tianyinhuang 16 күн бұрын
@huanyihe777 能不能把11美刀的成分拆分成创建和推理两部分，然后分享一下？ 🙏❤ 现在2B的使用场景很多是比较固定的知识库，创建成本高一点是可以接受的。
@harrydu6955 16 күн бұрын
知识库只需要创建一次。推理可以反复用
@huanyihe777 15 күн бұрын
在我这个例子里，索引大概要10美元
@fish-wz4pr 16 күн бұрын
格式只限制txt fav,把csv丟進去也不理解，一樣有答非所問狀況, 用gpt4o
@huanyihe777 15 күн бұрын
表格这种，最终估计只能多模态处理