【漫士科普】GPT是如何工作的？为什么要学习接下一个词？

Рет қаралды 44,715

Ай бұрын

一位来自清华的人工智能博士生，日常思索和科普。
An artificial intelligence doctoral student from Tsinghua University who likes to delve into thinking and science popularization.
喜欢我的内容欢迎订阅、评论、点赞^_^
Welcome to subscribe, like, and leave comments under my videos^_^
打开小铃铛🔔获取频道最新动态
Turn on the little bell🔔 to receive my latest updates
--------------------------------------------------------------------------------------
#科学 #科普 #知识 #物理 #数学 #ai #人工智能 #人工智慧 #gpt4 #gpt3

Пікірлер: 88

@nevermind-sl2vx Ай бұрын

我常常看日本動畫, 聽著日語配音和中文字幕, 當某些特定的音調出現的時候每次都有那個中文字出現, 就可以大致猜出這個音調和那個中文意思相同這個過程多經過幾次, 收錄的音調就越多, 之後在沒有字幕時聽到一句日文, 雖然你聽不懂全部, 也沒學過日文, 但還是能憑藉那些音調得到整個語句的大概意思從某種程度上和GPT的學習方法也挺像的語言是用來溝通的, 如果對面只要用阿巴阿巴就能傳遞訊息, 那就不需要文字了, 因此如果GPT能將語意轉成ABCD類, 然後定義A類後面接B類最為合適, 就能回答出大體來說不差的答案, 而產生類別的過程就是接龍訓練出來的效果

@shiro-kun3590 Ай бұрын

同意前些天在學校聽了個講座講者最後說了幾句日文明明從未系統地學會日文但憑著看動畫聽歌學來的半吊子日語已經足以猜到整句話的意思還有講者在說完「私の名わ」之後會介紹自己的名字云云

@arthurmorgan655 15 күн бұрын

雅蠛蝶❤

@Wind_of_Night 11 күн бұрын

本質上語言就是一套有邏輯的模式，有系統的學習，是最快進入的辦法，但是AI卻是反過頭來學的。先給片段局部，一塊一塊拼圖拼接而成，最終成為一個大大的拼圖畫。 AI也只是盡他所的〝猜(推敲)〞你想要的答案、結果。

@Borrytalk 17 күн бұрын

谢谢作者，豁然开朗

@penghe-lk1yq Ай бұрын

点赞，感谢up分享

@jwh001 13 күн бұрын

哇这个声音一秒就爱了😮😮😮😮

@eroo2271 Ай бұрын

神经网络的数学原理是n元m次方程可以拟合任何曲线，任何逻辑都可以表示成曲线。大模型就是一个大型n元m次方程而已，所以理论上只要参数够多他就能拟合出任何逻辑。不是写代码实现逻辑，而是让模型根据数据去拟合。

@leoc2844 Ай бұрын

Not just neural network, machine learning is function approximation.

@doge7562 Ай бұрын

@@leoc2844 Do them differend

@martiny836 Ай бұрын

结果的稳定性来自于模型收敛还是数据过拟合？

@fengwyd Ай бұрын

故TUVDLC0好0

@eroo2271 Ай бұрын

@@martiny836 过拟合是学习方法的问题，理论上未提供的数据应该是0.5的真假，但是现在未提供的数据在算法中会确定为假产生的。所以你必须尽可能多的提供正确数据才能根本上防止过拟合。

@twang5446 Ай бұрын

8:11 又看到了3B1B，众所周知，会推荐3B1B的视频主都是优质视频主😂

@user-dp9mi9ke5f 8 күн бұрын

哇哦，睡不着的时候我就看这个视频，努力理解里面的逻辑。。。

@Dah888 3 күн бұрын

✌️🙏

@chenxinglin 2 күн бұрын

下回分解没看见啊，大模型潜在的秘密--涌现现象和GPT提示词的视频没看到啊，up主

@akaiwon6594 Ай бұрын

大模型很有用，也很複雜，個人不是專業，不過影片中有一些觀念應該要調整，首先，就是大模型到底有沒有理解語言這點，我只說我們講話時實際上發生了什麼事情。各位應該都知道，我們每個人的意識都住在與世隔絕的小黑屋中，透過身體感官接收外在的刺激轉換成電子訊號，經過大腦的整合，在小黑屋中展現給我們感知到外在，當我們要跟外界溝通時，也是類似的相反過程，我們的意思透過大腦轉換成電子訊號指揮身體發出聲音行動等。有物理常識的應該知道，不管光或聲音，都是頻率和波長構成的，也就是說，外在的世界實際上只是一堆頻率波長，問題來了，那意義呢？當我們說話發出聲音或是寫下一段文字時，意義有跟著傳出去嗎？我想是沒有的，因為外在只有頻率和波長，文字和語言只是一段特定形式的頻率和波長，並沒有意義，如果語言和文字都沒有意義在其中，那我們怎麼理解對方的意思？這個目前眾說紛紜，個人相信我們的小黑屋內自帶意義的資料庫（這只是比喻請不要當成真的資料庫），所以每當我們大腦轉換整合過的特定的波長頻率給我們感知後，每個人就在自己的小黑屋中自行生成意義。所以我們並不是在溝通，而是根據這些形式，自行轉換成意義加以理解，這也是為何人的溝通經常出現雞同鴨講，但是電腦傳一段資料過去卻很精確幾乎不會出錯，因為電腦傳過去的沒有意義只有特定形式，而現在科技已經可以做到幾乎100％正確複製貼上形式。所以大語言模型應該是不理解語言的，之前科學家用邏輯性去訓練，成效卻很差的原因，也正是因為語言模型裡面不像我們有意義的資料庫，所以學起來非常慢。之前看過一個科學家說過，他在AI盛行之前就認為目前這個方法會有用，因為即使只是形式，也包含一定的規律，只要可以適當的複製，就算不理解，也會產生效果，最明顯的例子就是量子力學，沒人理解量子現象為什麼會這樣，但是因為數學可以複製這些現象的形式，所以我們就可以利用這些形式，製造出很多厲害的商品，儘管我們依然不理解量子力學。大語言模型應該也是類似的情形，大語言模型根據複雜的計算，複製貼上適合的語言特定形式，也就是一句話或一段文字，我們看到這些形式後，會自動在小黑屋中生成意義，然後再給予回應，我們看起來好像正在跟AI對談，其實是在自言自語。（好邊緣人啊）所以如果我們真的希望AI理解事情，大概必須給它一個意義的資料庫，但是因為我們也不知道自己的意義資料庫到底是什麼，目前應該是不可能的任務。而問題就卡在目前科學一直認為意識是物質的產物或現象，但是物質世界只有波長頻率沒有意義，所以這個研究方向很顯然不對，但是科學家並不這樣想，依然往這個方向繼續研究。然後影片前面還是大模型深刻理解了人類語言，後面又說大模型不清楚在真實世界的含意......

@ok1ok1ok1 17 күн бұрын

很有趣的論點

@iridal 11 күн бұрын

我想所謂的理解人類語言只是他大概能判斷你表達的意思，其實就是用你的語句去抓關鍵字給你答案。然而他不明白為什麼人類會這樣問，用這些字詞組合，所以其實他也根本沒理解，因為他還是只是抓關鍵字罷了。

@user-ux7by1tn1t 16 күн бұрын

想說完整看完影片再決定要不要點讚的，但看到 1:11 以後決定先點讚再說

@jamesyoung3343 12 күн бұрын

请教：GPT使用的 n亿个参数都是如何设定的？点赞！感谢!

@billxiao1506 13 күн бұрын

typo：Fintune -> Fine Tune

@penghe-lk1yq Ай бұрын

大模型，我理解就是一个信息检索系统吧，没有智能，但是用来查资料，真的好用

@ching-yanglin5689 Ай бұрын

問題是，什麼是「智能」？人類智能的本質究竟是什麼？我好混亂

@penghe-lk1yq Ай бұрын

@@ching-yanglin5689 人的智能，很重要的一点就是好奇心，然后探索世界，收获知识。大模型就是强行喂鸭子，你看它会自发探索世界吗？

@haiwangbcm Ай бұрын

@@ching-yanglin5689 有很大程度上和创造力有关。我举个网络热门词“抽象”，近几年突然被赋予了“离谱、傻X”的语义，这是在字典里查不到的。如果你交给GPT，他永远都不会发展出这一层含义来，但是人类却会创造性的给语言赋予新的意义，而且奇怪的是，大部分人都会很容易接受并理解这种新的含义，并迅速纳入自己的语汇里。再放到宏观历史上看，打个比方，如果只给GPT文言文作为训练材料，不管经过多少次深度训练，它都很难自主的发展出白话文，而这恰恰是人类历史自发产生的变化。我只是举GPT最擅长的语言作为例子，其他领域的GPT的局限性就更多了。

@asktomyi8747 Ай бұрын

你说的那个是搜索引擎，不是大模型

@076lin 16 күн бұрын

你講的想法應該比較接近決策樹就是前一代的人工智能的想法

@user-vc5ni2rp2y Ай бұрын

博主你好你認為AGI有辦法在現有的模型架構下實現嗎? 我目前就讀清大大學部，看完你的講解和原先就具備的深度學習知識，感覺現有使用transformer的方式很難去實現AGI，我自己個人的想法是這個模型本質上還是使用機率預測接下來要輸出的詞，那麼就代表肯定有機率會答錯一些有標準答案的問題，不知道我這種解讀正不正確?

@tqian86 Ай бұрын

AGI估计还是要解决语言和现实世界的理解，光靠语言可能够呛。在认知语言学界，有个领域叫situational word learning ，专门研究小朋友是怎么知道猫是猫，狗是狗的。这都是llm不能解决的问题。还有人类听一年多的爸爸妈妈讲话，就能开始学说话，四岁多的小朋友已经表达很厉害了。GPT要看几百辈子的书籍才行，这和真正的人类语言智能还是两码事。

@joanchao8940 17 күн бұрын

Yann Le Cun的观点好像和你一样

@user-fl8tt5sf3s 14 күн бұрын

訓練幾百萬次才會說話，基本上會被歸類為白痴

@chenchen55688 10 күн бұрын

不可能，你先去了解一下大腦神經元怎麼運作的吧…

@kuren529 15 күн бұрын

说不定可以填个机车呀，哈哈

@houseguy2000 Ай бұрын

大概還要加上感官情緒引擎，才能更接近人類吧

@kangcc912 Ай бұрын

這篇論文: Learning to gnerate reviews and Discovering Sentiment (2017) 學習生成評論並發現情緒情緒似乎並沒有那麼複雜(但只是可能)

@yayizou3312 Ай бұрын

请问为什么写不出二十个字的句子？主要是因为tokenization的原因吗？那后训练一下应该可以做到吧，可以学出一个token序列对应几个词。是说光靠预训练做不到？ gpt-4o试了下经常都是差一两个词。

@manshi_math Ай бұрын

因为自回归生成无法做“预先规划”

@yayizou3312 Ай бұрын

@@manshi_math 只是说光靠预训练做不到吧？如果用强化学习让模型拥有规划的能力呢？例如就用写出给定字数的句子这种任务来训练

@manshi_math Ай бұрын

@@yayizou3312 我依然持悲观态度，因为这是底层结构性的问题，只根据上文预测下一个词的方式根本性上难以做到控制字数和规划未来这一点

@anana-nf4hw 22 күн бұрын

@@manshi_math gpt4.o上嘗試過中文和英文，中文無法，但是英文可以呢，是更新速度不同嗎？

@manshi_math 22 күн бұрын

@@anana-nf4hw 说不好

@narkewoody 12 күн бұрын

如何理解给它四个数字，让它算24点，然后它能给出答案。感觉这个答案不可能是从语言生成中能够产生的。

@wzko6199 Ай бұрын

可以讓ai去當全世界的勞工嗎?這樣人類創造錢的理由都滿足的同時還可以解決窮富問題，然後以後錢就不重要了因為不需要勞工這樣大家就都可以做自己想做的事情了

@TyorJ94 Ай бұрын

你想說的是自動化吧

@kpsesuo Ай бұрын

确实限制字数和回答格式直接把4o 问崩溃了完全前言不搭后语

@weizhang4520 Ай бұрын

20字好像可以，1000字就不行了

@shizhixin1319 Ай бұрын

符号与现象本身得联系是某些人类中一些人的能力，其他人只是应用这种能力的结果，大模型通过摄像头也就是图像形成与文字相对应仅仅是一种模仿，就像其他人。

@MayTamWONG Ай бұрын

句內沒下一字未決的體驗，但脫稿表達時，定會有段內下一句未決，或文內下一段未決的高張力體驗。人比機器的尺度更大，且有兩種模態，句內一模，句外另一模，而句內模屬義務敎育類，句外模屬之上的敎育一類。同樣的，熟知五十餘筆劃與會用幾千字並探索數十萬字的人群，與熟知廿六筆劃與會用幾千單字並探索如yyds一類的未數單字的人群，其相應的模態感也會有些微妙差別。實際上，反而有另一感與上述呈二律背反狀：中文自古為概率模型而非採語法自覺，若以下兩例，我屁他、谷歌一下，之類的，近代以降則以意動用法的名號稱之；而外文在很長一段時間會有某種正則模型的語法自覺或幻覺，然歐人授語強調語法，如楊立昆一類，一般法的慣用者則強調但說無妨不恥語誤方為得法之途，如安特曼一類，不可謂無法，但也屬視法為公器而非令法絕對化反受其役之外延，然也有細分，畢竟紅藍不一，各有所偏好或偏頗，藍有法責人向，紅有上責法向，此上非固為人。

@klauscorleone3567 Ай бұрын

是否能解析一下为什么GPT可以编程？

@qoodx Ай бұрын

我也有同樣的疑問，僅僅是接龍遊戲是沒辦法學會寫程式才對吧?

@doctorywhy8955 Ай бұрын

因为训练GPT的数据包含大量验证过的程序代码

@oo-re6wo 24 күн бұрын

程序，全是逻辑。和语言一样。

@Wind_of_Night 11 күн бұрын

本質上是一樣，預測大概的行徑方向，且程式編碼更趨向於口耳化，想要怎去做怎麼時間。剛好代碼也是英文單字【規則】組成，順利就拼湊而成了～一個有趣的案例，教AI學英文，沒學過中文，AI居然還能回答中文。【沒錯！這就涉及了計算機基本原理，文字只是一串代碼，剛好這些代碼處理上剛好匹配到英文的邏輯編碼方式】。←大概就是基於這樣的理由會寫吧！

@user-pv9xw7gq3j Ай бұрын

意思就是概率学是吗？

@manshi_math Ай бұрын

可以这么认为

@nicolasking0001 9 күн бұрын

看完了，想问个问题: 你在哪里？

@SkyWing123 16 күн бұрын

I do not agree with you. Actually, Existing LLM model is what human thinking. It should not be called large language model. It should be called large thinking model. It is the procedure or way of what human brain doing.

@manshi_math 16 күн бұрын

It is still not clear how human brains.think. Perhaps it also does something like generating next words based on the previous context. But the inherent flaw of autoregression means it cannot do any kind of planning ahead. You may argue that the human brain does not speak language in terms of grammar tree. So the final conclusion is that nothing is exactly like the human brain. But some can mimic it more closely.

@kangcc912 Ай бұрын

2:28 我反而不太明白，和人類語言有哪些非常明顯的不同。我其實也只是在接話，只是我擁有更多輸入資訊的感知器。新學到的知識也是做為下一次接話輸入的一部分，與或多或少改變選字選詞的全局參數。

@davjd0916 23 күн бұрын

我们人知道“20”个的这个 20 真的是什么意思，因为有来自和现实物理世界的对应经验，语言大模型并没有，所以它不是真的理解。

@kangcc912 23 күн бұрын

@@davjd0916 20、數字其實也只是語言，或許可以說是理性語言，但仍是語言。 2進制、10進制、12進制中 100 就各自有其意思。我猜你是想表達柏拉圖的理型，人的思維中存在理型 (如椅子)，而對於機械學習模型的"思維"則沒有。假如我有猜對你想表達的意思，那我就可以進一步舉出反例，字詞三維向量，某個概念、字詞儲存於人腦中的方式， (也就是人對於某個概念的理型) 與目前大語言模型的學習方式是相近的。

@davjd0916 23 күн бұрын

@@kangcc912 哦我不理解柏拉图的理型是什么的。我的意思是，大模型只知道「20 是 20 这个符号」的这个意思，它不知道「20 条狗，20 条蛇和现实世界中对应起来是什么样子」的这个意思。