一键爬取社交平台视频、图片和评论，下载无水印视频，谨慎使用！
Рет қаралды 8,103
Күн бұрын一键爬取社交平台视频、图片和评论，无水印视频下载，谨慎使用！
全平台视频下载：tiqu.cc/
Llama3 微调
• Windows下中文微调Llama3，单卡8...
AI大模型打造本地知识库
• 一键部署本地私人专属知识库，开源免费！可接入...
Llama3 申请与本地部署
• Llama 3 模型申请与本地部署的几种方法...
AI声音克隆语气情感
• GPT-SoVITS克隆语气情感，老司机必备...
1分钟偷走你的声音
• GPT-SoVITS语音克隆AI，只需一分钟...
AI歌曲翻唱
• 最强AI翻唱 RVC WebUI本地安装与使用教程
AI生成音乐，平替suno开源免费
• Meta开源的AI音乐生成工具，可平替Sun...
最强AI换脸Facefusion本地部署与使用教程
• AI换脸Facefusion全面升级，最强换...
• FaceFusion语音+视频口型同步功能，...
• FaceFusion重磅更新！去遮挡、高清化...
AI换脸rope本地部署与使用教程
• Rope又一款强大的一键换脸AI！可消除脸部...
经典AI换脸工具Deepfacelive教程
• 经典AI换脸DeepFaceLive最全教学
roop直播换脸
• Roop使用虚拟摄像头实时换脸，支持各种社交...
roop全平台安装使用教程
• 一键换脸最新版roop全平台安装使用指南(W...
MediaCrawler github.com/NanmiCoder/MediaCr...
nodejs v16.8.0 nodejs.org/en/blog/release/v1...
本地部署
python310\python.exe -m venv venv
call venv\Scripts\activate.bat
pip install -r requirements.txt
playwright install
运行关键词爬取
小红书 python main.py --platform xhs --lt qrcode --type search
抖音 python main.py --platform dy --lt qrcode --type search
快手 python main.py--platform ks --lt qrcode --type search
B站 python main.py --platform bili --lt qrcode --type search
微博 python main.py --platform wb --lt qrcode --type search
运行指定ID抓取
python main.py --platform xhs --lt qrcode --type detail
(--platform xhs dy ks bili wb)
00:00 介绍
00:38 本地部署
02:29 关键词爬取
06:37 指定ID爬取
08:15 常见错误
@AIDiscovery2045 29 күн бұрын
视频中提到的短视频下载网站已被污染，不推荐大家使用。
@bulusid Ай бұрын
感谢大佬分享 爱了爱了🎉
@qdiwangwei Ай бұрын
感谢分享。
@matthewlee708 Ай бұрын
很干
@user-xo9gn4di7s Ай бұрын
大佬，请问下，要爬取哪个网站就要写对应的爬取代码吗？如果想爬取wordpress独立站的商品数据可以吗？
@AIDiscovery2045 Ай бұрын
可以，但需要自己写解析网页的代码
@fbchanchi Ай бұрын
請問有沒有離線工具可以用AI總結我的文件, 例如有一段影片的所有留言, 不想每個都看, 只想要一個總結.
@AIDiscovery2045 Ай бұрын
那需要安装本地运行开源大模型的工具，例如gtp4all、LM studio、open-webui等等都可以
@user-rj7lz1yg6p Ай бұрын
能否爬取其他网页的内容吗？例如，我想爬取一个网站包含特定人名的所有网页，可以操作么？
@AIDiscovery2045 Ай бұрын
这个目前只能爬取视频演示的5个社交平台内容
@kenlee7677 Ай бұрын
大佬，在安装依赖时出现：ERROR: Could not open requirements file: [Errno 2] No such file or directory: 'requirements.txt' 如何解决？
@AIDiscovery2045 Ай бұрын
看看解压后的目录结构，是否在最终的MediaCrawler目录下执行的pip install
@pioneerunicorn Ай бұрын
重新删掉再部署输入命令python310\python.exe -m venv venv会出现系统找不到指定的路径。这是什么原因？请问怎么彻底删除？能出详细的小红书指定帖子指定ID抓取的详细操作吗？对于小白来说您的视频没有详细到每一步，有点难懂，没有提取成功，虽然都一步步按照视频操作了，没有出现data文件夹。
@AIDiscovery2045 Ай бұрын
不需要重新部署。部署成功后每次运行前，到安装目录下，地址栏输入cmd打开命令窗口，再输入 call venv\scripts\activate.bat 然后输入爬取指令即可
@user-es1wk4uk5m Ай бұрын
大佬，请问为什么在进行pip install -r requirements.txt这一步的时候会出现不匹配的错误呢。ERROR: THESE PACKAGES DO NOT MATCH THE HASHES FROM THE REQUIREMENTS FILE.
@AIDiscovery2045 Ай бұрын
检查pip 源是不是连的pypi，不建议用国内的镜像；还有可能的原因是网络原因，安装过程中某些文件没下载完整损坏了
@user-es1wk4uk5m Ай бұрын
@@AIDiscovery2045 非常感谢大佬的解答！应该是网络问题，我重新运行就没有出现这个问题了
@user-bu8bl6dn5q Ай бұрын
我爬起反js加密吗？
@eudocia5753 Ай бұрын
大佬我想问下就是首先我按照视频步骤进行操作后并未出现data文件夹，其次在config中我已经将数据存储格式改为了csv格式，但是文件却以pma格式存储在了browser data文件夹中 我想问下该怎么办
@AIDiscovery2045 Ай бұрын
browser data里只是登录信息，data文件夹里没有生成文件，说明爬取并未成功。可以删除browser data里的文件夹，尝试重新登录爬取
@eudocia5753 Ай бұрын
@@AIDiscovery2045 我看了下cmd中显示的是bilibili crawler finished，然后我是type creator，但好像还是没有
@eudocia5753 Ай бұрын
@@AIDiscovery2045 我试了试type search是可以的但是如果改成creator就不会生成数据
@AIDiscovery2045 Ай бұрын
@@eudocia5753 creator ID不是在search key里指定，配置文件后半部分有指定creator ID的地方
@eudocia5753 Ай бұрын
@@AIDiscovery2045 知道了谢谢
@user-de4wp3kq5t Ай бұрын
美团可以吗
@oliverryan7927 Ай бұрын
大佬，按照你的安装方法做的，报错了 ，ModuleNotFoundError: No module named 'aiofiles'
@AIDiscovery2045 Ай бұрын
建议就用演示里的python版本，还不行就手动安装下 pip install aiofiles
@oliverryan7927 Ай бұрын
@@AIDiscovery2045谢谢 我改了个参数 ，好了 aiofiles==0.8.0
@user-ks8ir4bo9r Ай бұрын
(.venv) D:\code\MediaCrawler>'playwright' 不是内部或外部命令，也不是可运行的程序 ''playwright'' 不是内部或外部命令，也不是可运行的程序 或批处理文件 这个怎么办
@AIDiscovery2045 Ай бұрын
视频下方的详细说明里有每一步指令，可以复制过去执行
Eduardo Vasquez
Рет қаралды 2,9 М.
AI探索与发现
Рет қаралды 151 М.
Rozetked
Рет қаралды 675 М.
GiaoHeo
Рет қаралды 2,4 МЛН
Blueberry Lutein
Рет қаралды 178 М.