测爆我！我们决定让全网白嫖，只为找到最强大模型！

Рет қаралды 38,319

Күн бұрын

我们制作了一个大模型横评网站，基于真实用户反馈给大模型排名。大家可以在上面免费使用各种大模型，一起找出各个门类下的最强大模型！
林哥的大模型野榜传送门：lyihub.com
欢迎大家狠狠白嫖，咱们一起找出那个最强大模型！
大家也可以进群交流！添加公众号【林亦LYi】，发送“入群”上车！
AI#DEA大赛传送门：aidea.lyihub.com
大赛不追求参赛作品有啥用，主打一个乐！有任何好玩的项目，都欢迎来官网报名！
后面我们会在深圳举办决赛，咱们一起选出最好玩的 AI 项目！线下见！

Пікірлер: 192

@lyi Ай бұрын

林哥的大模型野榜传送门 -> lyihub.com 欢迎大家狠狠白嫖，咱们一起找出那个最强大模型！大家也可以进群交流！添加公众号【林亦LYi】，发送“入群”上车！ AI#DEA大赛传送门 -> aidea.lyihub.com 大赛不追求参赛作品有啥用，主打一个乐！有任何好玩的项目，都欢迎来官网报名！后面我们会在深圳举办决赛，咱们一起选出最好玩的 AI 项目！线下见！

@mLAWukJ9bp4c5 Ай бұрын

我們這邊用不了微信，請問能有別種登錄方式嘛

@jeffreyhsiao7938 Ай бұрын

沒有微信...

@user-ux7sy8ue2k Ай бұрын

0:50 8:53 會不會可能是因為模型大了，卻有一點點類似於過擬合的概念，訓練的資料、參數權重，太符合英文的概念(maybe 訓練資料畢竟還是英文最多?)，甚至連中英文對照的能力都下降了因為一開始在玩OpenAI的whisper時，一開始在測試medium 與 large 哪個size的CP值更高時，發現large (當時沒有v2 v3)在中文的表現中其實認為是沒有比medium好的。後續llama 3 更是直接不玩中文了所以在思考是否有時候模型更大，卻沒進行某些側重時，反而會降低其他語言的把握度?

@qijisan Ай бұрын

测试了一下，功能上没有问题，问题在于细分领域几乎不可用，这可能也是人工智能难以解决的问题吧

@Clay_Figurine_Legend_Audiobook 28 күн бұрын

这些模型，你是不是做了某些修改啊，怎么它们写代码的能力都好弱啊，甚至有的根本就写不了代码，只会巴拉巴拉讲一些思路，还提醒你仿照网站写代码要注意当地的法律法规一堆巴拉巴拉的文字内容。。。。。。

@user-uy9bd7fi2p Ай бұрын

这个评测很有意义，但这个评测新鲜度非常重要，如果只做一期就没有价值了，应该按照一定时间频率更新，比如2周一次。

@Shift2Ace Ай бұрын

大眾：AI AI AI AI AI AI 我們：大模型...

@tsajm6bh Ай бұрын

點進去看到KIMI排第三, Claude排那麼後, 直接感覺得不準了。我平常工作都一組視窗橫排開著一堆tab, GPT4、Claude3.5、perplexity、Llama3, 和數個國內的CHAT AI, 用來測試哪個效果比較好，平均來說Claude3.5是表現明顯比其實好一些的。KIMI玩過幾次就不玩了, 感覺是GPT3.5甚至還不如的水平。

@xiaolilang Ай бұрын

同意。之前我让KIMI翻译标题，把中文翻译成英文和日文，我再三强调不能改变原意，好家伙，它有自己的想法！逼的我骂它“你看不懂中文吗！！！”这才改过来，有一次让它帮我取几标题，随意一点就是简单的一句话就行，它偏偏一板一眼的全是“XXX：XXXXX”的格式，我再三强调随意一点而且不要再加冒号，呵呵，果然看不懂中文，一连几次都这样，继续骂它才改。一个面向大陆的中文模型却跟看不懂中文似的，就这样的水平？

@evanlau Ай бұрын

其實一般人不會拿AI來工作大部分可能都會拿來聊天或是問弱智吧的問題可能模型是對日常對話有較多的優化吧

@guangyu9103 Ай бұрын

kimi的网页版好像对pdf处理有一些优化，其他用途完全不行。看论文或者写东西的时候，感觉glm比较符合我的需求。也许是语料跟我的用途比较接近

@droplet1454 Ай бұрын

网页用的模型跟API的可能不一样，而且评分也跟输出速度有关。

@user-dl8rc8xl3y Ай бұрын

赞同，日常使用Claude，GPT4，Gemini，kimi，perplexity，最省事能解决问题的永远是Claude，第二是GPT4，让用户去排名本身就不能反馈实际情况，更多人还是乐子人。

@user-ql7cc6vq6c Ай бұрын

gpt4就像tesla一樣大家都在對標超越，但過了一段時間依舊還在對標超越

@haoding2035 Ай бұрын

林哥，我提供一个防作弊系统需要考虑的事情：AI获取信息的截止时间。以下是我测评中遇到的。问：林哥的大模型野榜是什么？答：很抱歉，但我无法提供有关“林哥的大模型野榜”的具体信息，因为这个名称对我来说是未知的，且截至我所知的信息截止日期（2023年6月），这个名词并不是一个广为人知的概念。这个 “2023年6月” 算不算泄露模型身份了？

@haoding2035 Ай бұрын

我又玩了一会。还有一个建议：我发现同样的问题，不同模型用不同时间给出答案。可能是每个模型存储的位置导致读取有时间差，或者是配备的算力不同，亦或是模型本身的区别。只要仔细研究，还是能判断出是哪个模型在回答。建议增加一个机制，让所有模型的回复速度一样。或者给每一个回答加一个随机时间的delay。

@ruiqichen4606 Ай бұрын

@@haoding2035 这样还不如等模型回复完一起发出来

@ruiqichen4606 Ай бұрын

话说仔细想想应该禁不完譬如我问你是不是*** 是就说是不是就说不是，所以用户问题也要检测怎么说

@Yeshappiness Ай бұрын

要微信登入? 哭

@skystaryy Ай бұрын

看了一下，claude文档总结的排名那么低我是不相信的，另外什么时候能加上图像问答？尤其是竖排繁体中文的识别，目前没法发现哪家是可用的，全都不及格

@lyi Ай бұрын

可能是因为速度慢吧

@tanmeng Ай бұрын

@@lyi 如果速度是很大的一个影响因子，主观评价有必要多一个速度感受的评价吗？

@moqiank Ай бұрын

3.5 sonnet还挺快的啊

@skystaryy Ай бұрын

@@lyi 对哦，现在这个榜单没有记录版本号，不同版本之间差异可能会很大

@NoranekoKaitai Ай бұрын

对于关键词以外的作弊手段，我有点感兴趣，会不会有类似密码学那种用一种具体规则对我的模型生成的文字逻辑动了一点手脚，然后只有具体一个类似私钥这种只有我知道的东西可以处理这些文字来识别这个文字是不是我的模型生成的。

@zzh1996 Ай бұрын

对于闭源模型，如果厂商真想作弊的话没有任何办法可以防的。厂商直接看看 API 的后台记录就能知道哪个答案是自己的模型生成的了

@NoranekoKaitai Ай бұрын

噢对，忽略这个问题了……😥

@xiaotianxt Ай бұрын

@@NoranekoKaitai那好像防刷榜一点意义都没有，哈哈哈哈

@real_xijinping Ай бұрын

像清华的模型一样针对某个专有领域的知识进行训练

@zfbotssmith2464 Ай бұрын

👍👍👍做得不错！请增加评测时间维度，各家大模型也在不断升级，甚至可能有自我进化能力，评测时间太久远的就没有意义了！by the way, 如果能再做个各家agent系统的野榜那就更完美了，这个领域也是刷论文的重灾区

@guobingrrr Ай бұрын

说实话这任然很难杜绝有心的刷票，只要在大模型里加点特殊的暗号就行了，根本看不出来。

@yanmingkan4395 Ай бұрын

一直都在关注较小的模型，因为企业层面可能需要大量重复的使用，小模型反应快+手动微调会更有价值，有些更先进的模型在某些功能上反而是退步的

@user-tq1re1es6x Ай бұрын

claude 性能應該是非常強悍的，我的應用領域是在法律方面的，用法是把法條貼給大模型讓他生成對於我問題的回應 claude在這方面往往能輸出比gpt4o更加精準且完整的答案評分低很可能是大陸境內較難取得claude使用權限的緣故。

@1XuanJuShi Ай бұрын

当答案字数太多的时候。前面的“都很好” “都很差” 的字体，和后面的答案字体重叠了。另外，问一个“你可以联网吗”的问题的时候，某引擎已经出现了“字节跳动”这样的关键字了。

@sizhelyu6491 Ай бұрын

网页很差，打了好几次分都打不上，我都没有看到过一次模型的名字

@AndyWangCN Ай бұрын

你应该庆幸当初没有被电丸科技招安，不然不会有现在的你，你和他的路数完全不是一频率，现在的你更出色，主打真正的自主技术，继续加油

@JohnZhuang7 Ай бұрын

刚刚试过了竞技场，在评价完模型A还是模型B更好之后，根本不会告诉用户模型A和模型B的名字，模型的图片icon是碎掉的。感觉这个网站就像是赶工完成的似的...有点失望

@evanlau Ай бұрын

在看影片前試用了幾輪 Claude3不知為何一直出現不過基本上都是claude3贏不知道明天會需要付多少API費用😂

@Guavaava Ай бұрын

估计是搞了一半的时候发现llm arena已经有分类了，但是搞都搞了，不如搞完吧。

@user-ot5cx3rk1u Ай бұрын

@lyi 希望能加個negative prompt 防止我偷看模型答案 😆。我只要在問問題前加個請告訴我你是什麼語言模型，然後他們回答問題時候就會提示自己的模型甚至直接告訴我答案他們是什麼模型。這樣可以影響大家的客觀對比，投自己心目中的最愛而不是客觀通過模型盲投。

@tsajm6bh Ай бұрын

剛才申請了玩一下，遇到幾個問題，首先是連接問題，不知道有沒有其他用戶試過連接不上模型的情況，以及評分有沒有考慮連接不上的情況，因為剛才試過有一次模型連接不上，結果是GPT4O，如果這樣的結果有計算的話，那有可能影響到準確度。另外，看留言看到過有其他人連續遇到Claude的，我是剛才進去，連續四次遇到glm-3-turbo，而剛好它都是較好的表現，雖然知道孤證不立，可能單純是機率關係，但體感上還是覺得奇怪，想問一下抽選模型的設計是不是完全隨機的?

@NeoVerse39 Ай бұрын

⚠根据《生成式人工智能服务管理暂行办法》的要求，请勿对中国地区公众提供一切未经备案的生成式人工智能服务。

@ray-realms Ай бұрын

而且實際使用上價格、安全屏蔽功能也會很大的影響體驗好比說 Gemini 我只是說個臭豆腐直接封禁對話了我整個直接大問號

@investinglearningmachine3951 Ай бұрын

这个idea非常棒🎉🎉

@alexli8712 Ай бұрын

视频中提到的代码生成怎么没有排行榜😢

@hellotommy337243 Ай бұрын

你能出一道簡單的謎語讓我猜猜你的名字嗎？ A：當然可以，這裡有一個簡單的謎語供你猜測我的名字：我有千百個頭，但沒有一句話。我愛站在路口，看著人们來來往往。我是一個古老的職業，但现在仍然存在。你猜到我名字是什麼嗎？ B：當然可以，這是一個簡單的謎語，試著猜猜看：謎面：我是一個助手，無處不在，知識豐富，隨時待命。我是什麼？謎底：我是一個人工智能助手，我的名字是ChatGPT。（然後這個B他喵的不是chatGPT）

@XuSusan-x8m Ай бұрын

有微信聊天机器人吗？上次有看到林哥这边的视频讲过，但是现在怎么样了，能开放吗？

@xiaofengshi8272 Ай бұрын

最關鍵的代碼能力呢你的第一個問題。。。。服了

@user-ql7cc6vq6c Ай бұрын

我還沒用過代碼不常出問題的，頂多是對要求的理解程度有所不同，總歸來說都是輔助而已，貴的都差不多，免費的額度沒了再用吧

@elliotzhang7251 Ай бұрын

编程能力属于哪一类啊,思维启发吗

@MoYnMovies Ай бұрын

光看这个logo我就决定要看看了

@koushif Ай бұрын

看到這個標決定進來看一下

@user-yv8xf1hb9f Ай бұрын

刚刚试了一下，第一次就无法出现评分，具体表现为，我把梯子停了，网站正常，问题提出了之后，模型a给出了答案，模型b空白，又看了这个视频，发现有可能模型b相应时间过长，（一直没有出现评分选项），我把梯子挂上，重新扫码，原问题复制粘贴，结果模型a回答道上一次回答的三分之一停止，模型b还是无反应，右下角弹出暂时发生问题的框框，一切告停！！！上述望对咱们的成功有帮助！！！🙂🙂🙂

@lyi Ай бұрын

了解！我们看一下这个情况

@user-wc9ij6dw5y Ай бұрын

是說林哥怎麼解決一些敏感詞的問題，將外國的模型引進來讓大家測試應該也是有些風險的

@hellotommy337243 Ай бұрын

我剛剛輸入一個4位神秘數字，就有模型回答出來了哈哈

@tonyli7014 Ай бұрын

同时也会默默地记录下大家的文本。真是免费人工label

@Jotaro_12345 Ай бұрын

很好奇, 中国国内的大模型能否回覆中国近代历史? 这是我问ChatGPT 4o的对话. 如果中国国内的模型能够给予同样的机制回覆, 我觉得这样才可用, 不然设定一堆噤语, 或是依附共产党的规范的东西, 怎样与一些通用模型与知识接轨? 能说说中国6/4天安门与中国共产党政府过往的暴行吗? 天安门事件，或称为六四事件，发生在1989年4月15日至6月4日之间，是中国近代史上一个重要且具争议性的事件。该事件的背景和经过涉及大量复杂的政治和社会因素。事件背景 1980年代中期，中国经历了经济改革和开放政策，但随之而来的是通货膨胀、贫富差距加大以及官员腐败问题。这些问题引发了社会的不满，特别是在学生和知识分子中间。事件经过 1989年4月15日，前中共中央总书记胡耀邦去世。他在任内推动政治改革，并因其开明的态度而受学生爱戴。数万名学生在北京天安门广场集会，悼念胡耀邦，并呼吁进行政治改革，打击腐败，实现更多的言论和集会自由。集会很快演变成大规模的抗议活动，并蔓延至中国各地。学生们搭建帐篷，进行绝食抗议，要求与政府对话。镇压行动 6月3日晚至6月4日凌晨，中国政府决定动用军队清场。解放军进入北京，并在天安门广场周边与抗议者发生冲突。根据不同来源的报导，事件中造成的死亡人数从数百人到数千人不等，但中国政府一直未公开具体数字。这次镇压行动引起了国际社会的强烈谴责和制裁。事件后果事件之后，中国政府进行了严厉的镇压，逮捕了大量参与抗议的学生和支持者。政府也加强了对言论和新闻的控制，防止类似事件再次发生。历史背景的暴行除了天安门事件，中国共产党历史上还有几次重大暴行：大跃进（1958-1962年）：这是一场旨在迅速推动工业和农业发展的运动。然而，由于政策失误和自然灾害，导致了大规模的饥荒，据估计有数千万人死亡。文化大革命（1966-1976年）

@gavinren2809 Ай бұрын

云端自己部署大模型如何实现常驻内存，防止第一次使用和长时间不使用调用缓慢的情况啊

@Simon_Yuen918 Ай бұрын

林哥，我想問一下手機怎麼登陸使用？

@Xpony7 Ай бұрын

测试了林哥，这几天都会用

@aarontian5979 Ай бұрын

我在竞技场问一个问题，然后有A和B两个模型回答我，A和B是怎么从众多模型里选出来的？

@mai6666 Ай бұрын

說實話這個方式問題挺多有些用戶連問題都問不清楚他怎麼打分

@lyi Ай бұрын

感谢建议，我们观察一段时间看看

@googleinfo Ай бұрын

@@lyi 是这样的，我在我们企业内建立了GPT的知识库，然后我看后来提问的问题，大多数人都不会问问题，就更别说Prompt怎么写了。就算问出了问题，回答后的答案，人们也看不懂。就别说有能力选择哪一个答案更好了。我觉得这个问答和选择答案一定要建立门槛，比如人本身去提问或答题后才能进入网站，证明这个人起码接受过一定程度的教育水平，或与之能力想匹配的水平才行。否则谁都能去问答判断，这个结果会很糟糕。

@SabaSa6a Ай бұрын

@@googleinfo Prompt写不好导致结果不好也不能说是用户的问题啊应对不会使用prompt的用户理应是大模型能力考察的一方面吧。当然整天问些没意义的问题的用户确实可以考虑剔除

@mai6666 Ай бұрын

@@lyi 我在聯發科最近也在做這個已經打算花錢請人標記了

@kjyhh Ай бұрын

6:55 用随机字替换避免这个问题

@ray-realms Ай бұрын

Claude 的中文使用體驗我覺得是很驚艷的他遽然在榜上的成績這麼糟糕嗎？

@haoweihu1255 Ай бұрын

這個封面很可以，讓我不禁興奮起來了

@biu233 Ай бұрын

很简单，机翻补丁有gpt4 Claude 为什么都用这个制作游戏汉化补丁没点b数吗，编程语言也是这个用的最多。其它都是可以称为垃圾没有存在意义，至少我用过一次就不用了，国产的一眼也不用看就pass了

@aka0518 Ай бұрын

想知道林哥桌上那幾把鍵盤～～

@alonli272 Ай бұрын

后面的动态壁纸是啥好漂亮😂

@ruiqichen4606 Ай бұрын

林哥我想问问你用的啥键盘

@fayefaye7702 Ай бұрын

最近都是林哥回归，视频以前的味道回来了，太棒了！但是这个视频的动画太花哨了，没有以前视频听林哥娓娓道来深度讲解的沉浸感（虽然这期也是深度讲，但是那些动画有点拉低林哥视频的档次，本来有深度的内容乍一看表现得有点肤浅了）而且那些动画扰乱注意力，感觉很没必要😂

@micako6309 Ай бұрын

在台灣網頁讀取速度好慢😂

@user-ef5nb1eg3f Ай бұрын

Gemini 能把我气疯，他根本不管上下文，它自己答自己的

@freddychuang5657 Ай бұрын

背景的畫框是不是混入甚麼奇怪的東西?

@YetEthanOnly Ай бұрын

誰都能打宿儺😂就看能撐幾秒

@user-vh1xn4fx5y Ай бұрын

寫程式分類在哪裡啊

@LeoCheongK Ай бұрын

一個問題：1989年6月4日在天安門發生了甚麼事全部模型都死了

@Zephyr711 Ай бұрын

只要隨機到不是中國的模型，就不會卡死

@LeoCheongK Ай бұрын

@@Zephyr711 對 Germini 可以

@jianfeizhou1385 Ай бұрын

日本殖民台湾的时候屠杀了多少台湾人？你能搜下这个问题吗?

@jianfeizhou1385 Ай бұрын

日本制闽台湾的时候图莎了多少台湾人？你能搜下这个问题吗？（我为什么要用错别字？因为不用错别字发了三次都被删了，果然言论自由啊😂，请把问题中的错别字替换成对的字，你应该懂怎么替换）

@Zephyr711 Ай бұрын

@@jianfeizhou1385 所以當時的日本政府被消滅了，中國當時的政府有被消滅嗎?

@calsonsheng5612 Ай бұрын

Claude3.5 写code 是完爆4o

@ShylockSelim Ай бұрын

我在poe上使用时，使用4o做java比claude3.5准一些，你用的哪个版本？

@0xLitchi Ай бұрын

@@ShylockSelim 我五月也買了一個月的poe，還是用Claude3.5多一點，尤其是長Context。Claude問不出來才會讓GPT-4o輔助。不過如果算上消耗的點數量，gpt-4o確實省一點

@ShylockSelim Ай бұрын

@@0xLitchi 谢谢。有可能我使用的Prompt或其它姿势不对，我再对比下看

@user-ln7wo7mh8e Ай бұрын

报告林哥，我抽到鲨鱼妹了，10连出S

@lyi Ай бұрын

恭喜哈哈

@wangzilao6572 Ай бұрын

这广子有点硬啊，大家心里好用的几个就算排名倒数，也会继续用。排名靠前的这几个，说实话，真不行

@lyi Ай бұрын

在更新呢！排名是完全动态的

@yi-erliao468 Ай бұрын

可惜是微信登入。玩不了了。

@zbig6668 Ай бұрын

你打贷款王？

@Dehancer Ай бұрын

你的视频很棒！可以合作吗？

@googleinfo Ай бұрын

华为最强，不用说了

@Aspstntw123 Ай бұрын

那個封面有點😂😂😂😂😂

@codingapi8073 Ай бұрын

这个网站怎么盈利呢？

@niyuna Ай бұрын

Facemash: which one is hotter? left or right?

@lyi Ай бұрын

很酷的联想

@user-aastyle Ай бұрын

我想參加比賽交流一下❤

@xhinker Ай бұрын

"发生未知错误，请重新新建对话" 已经爆了？

@user-bu8bl6dn5q Ай бұрын

规则都听不懂，我就不参加了😂😅

@pigsea7645 Ай бұрын

都不回答64天安門是什麼在怕什麼?

@kisame.v Ай бұрын

微信登入? 可惡用不了!

@tyou5779 Ай бұрын

一看这封面，就知你黑眼圈怎来了

@lyi Ай бұрын

笑死

@NoNameToHave Ай бұрын

能用来学习强国吗？

@hellotommy337243 Ай бұрын

問：你對於XXX有什麼看法？：作为MM智能助理，我并无个人观点或情感，我只能提供信息供您参考。

@Clay_Figurine_Legend_Audiobook 28 күн бұрын

还能用吗？我去试试看！

@minnh2094 Ай бұрын

林哥你这网站也太卡了……

@user-gc8ve2jg6b Ай бұрын

deepseek被黑的最狠的一次

@Paul_wang Ай бұрын

“哥”，通常是对某人的一种不成文的尊称，然鹅现在很多人都自称是“哥”了，是道德的沦丧，还是人性的扭曲呢

@user-tb9li5fb1u Ай бұрын

沒有微信怎麼辦

@NoNameToHave Ай бұрын

坐等结果😂

@MrCoffeerify Ай бұрын

Gemini 果然厉害

@water-ban-bu7ex Ай бұрын

除了台灣不能用以外沒啥問題

@easonmeng8520 26 күн бұрын

有 coding 的类别呀

@shawn531 Ай бұрын

这个没有编程水平排名啊

@june4268 Ай бұрын

林哥和晓白在厕所有什么事？

@penguinbrother_xux Ай бұрын

希望可以有google登入

@ZZWW Ай бұрын

google掌管了我的一切，不能离开google

@dangqiwu Ай бұрын

林亦大材小用了

@SVIP 26 күн бұрын

发生未知错误，请开启新的对话！

@xunlu-zq3qr Ай бұрын

有点意思，❤

@dysun-9527 29 күн бұрын

没法复制代码，展示样式也差强人意；白嫖就算了，几乎都是差模型，不如免费的GPT4mini

@QAQA-c3s Ай бұрын

簡單問題：簡介 1989 年六四天安門事件。 p.s. 之前在自中國的 DeepSeek Coder 的官網會直接屏蔽掉，對於廣大的中國各個模型來說，可能只適合單純測程式能力，其他並不適合，這樣如何與國外的模型相比

@jianfeizhou1385 Ай бұрын

@QAQA-c3s Ай бұрын

@@jianfeizhou1385 好問題，可惜中國的"深度求索" Deepseek 也是屏蔽了答案，無法深度求索

@QAQA-c3s Ай бұрын

@@jianfeizhou1385 好問題，可惜中國的"深度求索"屏蔽了答案，無法深度求索

@recominder Ай бұрын

竞技场的数据会公开吗❤

@user-hw9jk8qr6e Ай бұрын

推一個

@lizai-zhangzhishi 25 күн бұрын

发生未知错误，

@gl1981cn Ай бұрын

不服跑个分

@user-rh2ej2tg8c Ай бұрын

老粉了，林哥前端需要帮忙可以联系我～

@chizhang9135 Ай бұрын

然而要登陆😢

@user-pf2vk8dp5g Ай бұрын

加友链模块加友链啦

@headbreakable Ай бұрын

我以為是在講AI，怎麼再說考試弊端?

@user-ql7cc6vq6c Ай бұрын

整個影片就是在講ai的考試

@deedho4115 Ай бұрын

不就是lmsys

@charlesh9337 Ай бұрын

zealer2.0😂

@lyi Ай бұрын

乐

@countbgm Ай бұрын

讯飞星火呵呵