大規模言語モデルはただの遷移図。実際に作って理解しよう！【大規模言語モデル1】

No video

大規模言語モデルはただの遷移図。実際に作って理解しよう！【大規模言語モデル1】

Рет қаралды 72,094

Күн бұрын

プロモーション：Notion AI
Notion は無料で使えて、月額10ドルで Notion AI をご利用いただけます。
ntn.so/yurucom1
ことラボのりょーさんをお招きした「大規模言語モデル」シリーズ。「手書きで小規模水野言語モデルを作ろう」「本質の遷移図から長年の工夫により実った」など、大規模言語モデルの根幹について話しました。
【ことラボ】
◯Twitter → x.com/KotoLaboRyo
◯KZfaq → / @kotolabo
【目次】
0:00 大規模言語モデルについて気になるよね？
2:00 りょーさんは自然言語処理の専門家
5:00 手書きで小規模言語モデルを作ろう
10:13 水野言語モデルでどんな文が生成できる？
15:39 NotionAIの有効な使い方
24:36 本質は遷移図、長年の工夫が実る
【参考文献】
◯LLMの現在（スライド）
speakerdeck.com/pfn/llmnoxian...
◯大規模言語モデル入門
amzn.to/3VKqed7
【サポーターコミュニティへの加入はこちらから！】
yurugengo.com/support
【親チャンネル：ゆる言語学ラジオ】
/ @yurugengo
【実店舗プロジェクト：ゆる学徒カフェ】
/ @yurugakuto
【おたよりフォーム】
forms.gle/BLEZpLcdEPmoZTH4A
※皆様からの楽しいおたよりをお待ちしています！
【お仕事依頼はこちら！】
info@pedantic.jp
【堀元見プロフィール】
慶應義塾大学理工学部卒。専門は情報工学。WEBにコンテンツを作り散らかすことで生計を立てている。現在の主な収入源は「アカデミックに人の悪口を書くnote有料マガジン」。
Twitter→ / kenhori2
noteマガジン→note.com/kenhori2/m/m125fc452...
個人KZfaq→ / @kenhorimoto
【水野太貴プロフィール】
名古屋大学文学部卒。専門は言語学。
某大手出版社で編集者として勤務。言語学の知識が本業に活きてるかと思いきや、そうでもない。
Twitter→ / yuru_mizuno
【姉妹チャンネル】
◯ゆる音楽学ラジオ( / @yuruongaku )
◯ゆる民俗学ラジオ ( / @yuruminzoku )
◯ゆる天文学ラジオ ( / @yurutenmon )
◯ゆる書道学ラジオ ( / @yurushodo )
◯ゆる生態学ラジオ ( / @yuruseitai )
◯ゆる哲学ラジオ ( / @yurutetsugaku )
#大規模言語モデル #ゆるコンピュータ科学ラジオ_大規模言語モデル

Пікірлер: 183

@yurucom Ай бұрын

プロモーション：Notion AI Notion を無料で使い始めて、月額 10 ドルで NotioAI も利用してみてください。 ntn.so/yurucom1 【ことラボ】 ◯Twitter → x.com/KotoLaboRyo ◯KZfaq → www.youtube.com/@kotolabo 【参考文献】 ◯LLMの現在（スライド） speakerdeck.com/pfn/llmnoxian-zai ◯大規模言語モデル amzn.to/3VKqed7 【サポーターコミュニティへの加入はこちらから！】 yurugengo.com/support 【おたよりフォーム】 forms.gle/BLEZpLcdEPmoZTH4A ※皆様からの楽しいおたよりをお待ちしています！

@kettle9265 Ай бұрын

概要欄と固定コメントで脱字してませんか？ NotioAI → Notion AI

@zeroshuga-soda Ай бұрын

Notion ってオフラインで使えないんすよねー。アタシは、共有用にしてます。

@miyabi-qt7ih Ай бұрын

りょーさん、ホリモトモリモト上位互換じゃん

@user-ic5uw1rl5m Ай бұрын

りょーさん博士号取得してるの強すぎる。 KZfaqやりながら博士取得したなんて。

@user-ts9dh5vl1t Ай бұрын

かなりりょーさんが一人ゆる言語学ラジオ過ぎておもろい

@mugen_gamelab Ай бұрын

りょーさんまさかのコンピュータ系博士号堀元と水野を足して2をかけた存在だったのか……

@hukuuchi Ай бұрын

堀元の絶対値と言わないやさしさ

@TomTomMambo Ай бұрын

りょーさんたまに遮光器土偶みたいな顔なるのジワジワくる

@arcsin1203 Ай бұрын

りょー　100%→　さん　100%→　の　100%→　笑顔　100%→　から　100%→　しか　100%→　取れ　100%→　ない　100%→　栄養　100%→　が　100%→　ある

@user-kl7hd2vv3e Ай бұрын

普通の遷移図で良くて笑うw

@user-uu9mr9pj9g Ай бұрын

n=1

@user-it5fp6tg6k Ай бұрын

からしか辺りからはマジで100％に近い確率になってそうてまはある

@Redcoral_moe Ай бұрын

コンピュータサイエンスで博士号を持っている言語学系youtuberってもしかしてスーパー水野見ってコト！？

@Sasami1729_ Ай бұрын

びっくりしてるりょーさん、笑ってるりょーさん、にこにこしてるりょーさん、キマってるりょーさん、かわいいな……

@s_kanata220 Ай бұрын

一人でどっちのチャンネルも乗っ取れる男、りょー

@nashi.2279 Ай бұрын

りょーさんのすごさと堀本・水野さんのピエロさが際立っている神回だと思いました。

@lanternsaristotle2255 Ай бұрын

また、ゲスト回の評価が上がってしまう、、、

@toshihirom2038 Ай бұрын

ことラボりょーさんがことラボりょーさん過ぎてモノマネかと思った

@gnwf47 Ай бұрын

この動画のコメント欄における、「堀」に続く文字の遷移確率は以下の通り。堀→元（78%）堀→本（22%）なお、n = 9 ※2024年6月16日18時00分現在

@MiMi-ke5wj Ай бұрын

良い………

@gamemaru Ай бұрын

7:45 マルコフ過程に驚くりょーさん好き

@user-catBrathers Ай бұрын

毎回専門家の中抜きインターフェイスに徹する堀元さん

@yaochuhai Ай бұрын

りょーさんの著書、持ってたんだ自分...

@rabutlilriddle1904 Ай бұрын

たまに出番がくると、張り切って(ただし当社比)答えるりょーさんが面白いw

@azuki97 Ай бұрын

マルコフ過程のときのりょーさんの顔すき

@gnwf47 Ай бұрын

そのためのワイプですよね

@_saw6754 Ай бұрын

コンピュータ科学と言語学のあわさった分野の博士持ちって、りょーさんホリモトミズノ融合体の上位概念みたいな存在じゃん

@user-xt5vp7lb6r Ай бұрын

ゆるコンゲスト回、江崎先生もりょさんも説明が上手いから無理やり画面外に弾き出して語ってるようにしか見えない笑

@kurata_wolke Ай бұрын

25:57 「小手先」って聞いた瞬間のりょーさんの笑顔怖すぎるんですが

@musicdm7644 Ай бұрын

・別画面・鉄の表情・声のトーンりょーさんが精巧に作られたAIではなく生身であるのが分かるまで5分かかりました。

@mimiget Ай бұрын

びっくりキャット可愛くて草

@user-tq8mn3uz2r Ай бұрын

僕がマウスが４の下り、数字に対応する記述をしてなかったせいでそのまま出力されてしまったプログラム感があってとても趣がある。

@user-qs3id1jd1n Ай бұрын

りょーさん2人でもう上位版のゆる言語学もゆるコンピュータ科学ラジオできるじゃん…

@user-ck8hv9el1r Ай бұрын

装丁見る限り、「(大規模言語モデルについて)知ってればいいや」とかいうぬるい層を対象にした本じゃないし読めないのも当然。「知っている」と「作れる」の間には大きな開きがある。この本は後者になりたい人向けと思われる。

@mudaso-heavy-user Ай бұрын

楽しみに待ってました

@tsuyuki007 Ай бұрын

ぼくも！

@user-vd2tz1cf3v Ай бұрын

たのまち！

@Pepe-dn4od Ай бұрын

奇遇でね、僕もです😊

@tsicsafjapan9371 Ай бұрын

たのまち

@mkd09218 Ай бұрын

ちょうど『大規模言語モデル入門』、卒業研究に使わせてもらってます。「ChatGPTにクイズを答えさせる」の章、助かります。

@idmuri Ай бұрын

カッパについてのうんちくを聞いて一般知識から答えないということは純粋にnotionに蓄えられた情報から答えてくれるってこと…！？それなら本当に助かる具にもつかない素朴心理学的な知識を排して色々ときけるということに…！

@user-hk2dn5gw1m Ай бұрын

りょーさんの下位互換とAIの下位互換がやってるチャンネル

@lafit.9106 Ай бұрын

りょーさんの素の笑顔とかツッコミ見られるの最高すぎ❤次も楽しみにしてます!

@sorrycomment Ай бұрын

優秀な専門家になんちゅー照明の当て方（笑）

@Kobarienne Ай бұрын

思いがけないところでりょーさん登場で嬉しい週末に。ことラボでやってた「単語ベクトル」がとても興味深かったので、次回が楽しみです❤

@zc33s31 Ай бұрын

神（ゲスト）の神託を得るエセ宣教師回はハズレなし。世の理不尽さを感じる。

@user-qy2rm7ub6u Ай бұрын

こっくりさんって生成AI……？

@ダレカサン＿イラスト Ай бұрын

コンピューター室でやったら先生に「おっ！言語モデル作ってるねぇ！平仮名と数字一文字ずつで作るのは、遷移が膨大過ぎてしんどいかもだけど、シブくて好きだな～ッ」とか言われるのか...生徒熱出しちゃうよ

@gush-accessories Ай бұрын

高精度堀元モデルがドツボにハマっていく過程が動画の最後におさめられていてわかりやすかった

@aaaajp Ай бұрын

りょーさん、堀元と水野を足して２で割らないタイプの人だったか...

@shomwoys Ай бұрын

りょーさんの元気な「ダメです！」が聞けて大満足これなかなか良シリーズになるのでは？りょーさんだk NotionAIの中の人も呼んで「こんな使い方したらおもろいで」ってので締めれたりしたら、興味的にも実用的にもチャリンチャリン的にも最強なのでは

@user-si8bh7jo9t Ай бұрын

りょーさん、博士号取ってたのか…。しかもコンピュータ系の(語彙力低い)？？

@hbs5394 Ай бұрын

最近ニューラルネットワークの勉強終わった後なので、ちょうどLLMに関心が向いてるところでした！次回楽しみにしてます！！

@canterantanable Ай бұрын

ってことは、水野さんと堀本さんを足して、4でかけたら、りょーさんってこと！？

@user-vg2ix3qx8s Ай бұрын

マジで仲悪くなったのかと心配してたから安心した

@kotokoto8362 Ай бұрын

院生と人気KZfaqr両立してLLM関連の研究で博士号とって業界注目の本の著者のひとりでカッコよくて面白くて声も良い、だと...🥴 もうこれ都市伝説やろしかしこの本見たことあるわぁ...

@user-ou8md6fm8o Ай бұрын

球に近いサイコロ止まらなくて亡くなった話好き

@watashi-wa-tawashi Ай бұрын

殺すな殺すな

@hiroyukippp7380 Ай бұрын

りょうさんの新情報のコンピュータサイエンス博士号とマキシマムザホルモン歌うって高低差ありすぎてハゲそう。

@metboos506 Ай бұрын

ChatGPTも紙と鉛筆とサイコロのようなもの　と聞いて、「パソコン（電子計算機）もソロバンに毛が生えたようなもの」を思い出した

@pihha5204 Ай бұрын

？？？「チェスなんてただのマルバツゲーム」

@ddw5111 Ай бұрын

堀元見が「効率重視の世の中はよくない」とか言うんかよって笑ってたら即突っ込まれてて更に笑った

@user-ye6mm4kp5r Ай бұрын

ことラボのりょーさんは、ボイニッチ手稿とか解説されてましたよね次回もたのしみ

@godzillaaquatimez Ай бұрын

素晴らしい太貴模言語モデルができましたね！

@shotoutlaw Ай бұрын

りょーさんゲスト嬉しすぎる

@TheSlowcub Ай бұрын

めちゃめちゃ楽しいです😂 雑談に混ぜてもらってる感じ😂 それで学習できるんだから最高😊

@user-fn6jn4hn3f Ай бұрын

江崎先生回以来の福音書(中抜き仲介業者)スタイルだぁーー❗ 楽しみにまってました。

@tamarind_kingdom Ай бұрын

りょーさん、そんなにつよつよの方だったのか…

@chii8039 Ай бұрын

28:06 !cat → びっくりキャット！！、いいなあ。

@user-bw6uh9em4v Ай бұрын

りょーさんって何者かとずっと思ってたけど自然言語処理の専攻だったのか...！

@kanametatsuya Ай бұрын

次回からもとんでもなく楽しみ

@user-dg6eu1hu8t Ай бұрын

やったー！やって欲しいと思ってた題材がついに！

@komi3032 Ай бұрын

絶対trpgやるのに使えるから買ってええやろって気持ちで100面ダイス買ってる

@you-cm6jx Ай бұрын

りょーさんのカラオケ見たすぎるw

@user-uq6mu2rl2j Ай бұрын

僕はうなぎだって小規模言語モデルが吐き出した文かもしれん

@例のあきやま Ай бұрын

つまり、マキシマムザりょーさんはホリモトモリモトミズノジズノってコト？

@user-op9di5fx8b Ай бұрын

面白さ優先して、どの部分の執筆したか確認しないでツッコミ入れてやらかしてるの堀元しぐさあって良い。もっとやらかしてほしい。

@sirius8203 Ай бұрын

3:53 調べたらえっっぐい経歴出てきて笑う

@KT-xz9ys Ай бұрын

機械学習のちょうど良い骨太本を探していたので早速購入いたしました！

@hrsm-chn Ай бұрын

試しにGPT‐4oに「非文を言って」と頼んだら非文を生成してくれました。かしこい

@user-jq2hc8fi4l Ай бұрын

7:47 りょーさん驚く

@user-zs9mh3ci3k Ай бұрын

原理の説明がシンプルで分かりやすくて良かったです。分かったつもりになれます鉛筆とサイコロはビジュアルで良かったです。ロシア風の名前の方も後で調べてみます。では、さようなら

@kiroro7912 Ай бұрын

東大で情報学博士号とってるのか。しかも自然言語処理やってて、KZfaqr としても人気。最近ゲスト(上位互換)多いな笑

@user-xl5lv2ng2c Ай бұрын

李さん！

@koi506 Ай бұрын

数理モデル回に倣った例の福音書スタイルですね。

@user-zs9mh3ci3k Ай бұрын

"The Female Student" captures the emotions of a young girl as she experiences a day filled with various moments, waiting for happiness that arrives a night too late.

@ryuukarinn Ай бұрын

ちょうど自然には来ないものが組み合わされる可能性が高い、気持ち悪い芸術を出力する生成AIを作ってみようと思っていたところなので助かりました！

@kentoo_1 Ай бұрын

りょーさん多才すぎる… LLM入門積読してます！いつか読む！

@daibun2001 Ай бұрын

コンピュータ博士って自称するのめちゃくちゃかっこいいな

@user-kl7hd2vv3e Ай бұрын

りょーさんそっち系だったんだその本読んだことあるかも

@user-kl7hd2vv3e Ай бұрын

これ、これから自然言語処理やる学生には良い刺激かも

@user-MizumasiGohanKansokusha Ай бұрын

Notion きたー！

@user-fj1ku8hw5b Ай бұрын

10:53 d100助かる

@foxface120 Ай бұрын

12:05 型を間違える水野さん

@user-hs7ep9re3v Ай бұрын

18:58 読書メモ×　野菜メモ〇

@user-ib3ks5do6i Ай бұрын

新聞記事をクリップして、死蔵させていたけど、これで掘り起こせそう。（活用できるかは別）

@user-bi6uj7yf6q Ай бұрын

専門家が体調不良にならなくて良かった！🐱

@user-bi6uj7yf6q Ай бұрын

ChatGPTに問いました🐱 自分: 「僕はマウスができない。」この文は自然ですか？そして、この文をもっと自然にするとどうなりますか？ ChatGPT: 「僕はマウスができない。」という文はやや不自然に感じます。「マウスができない」という表現がわかりにくいからです。おそらく「マウスを使うことができない」や「マウス操作ができない」と言いたいのだと思います。もっと自然な表現にすると、以下のようになります：「僕はマウスを使うことができない。」「僕はマウス操作ができない。」状況によっては、もう少し具体的に言うこともできます：「僕はマウスの操作が苦手だ。」「僕はマウスを使うのが難しい。」これらの表現の方が、より自然に聞こえるでしょう。

@user-bi6uj7yf6q Ай бұрын

ちなみに「できる」には「作れる」の意味もある気がします(「赤ちゃんができた。」「AGIができた。」など)。

@user-kl7hd2vv3e Ай бұрын

大学の教科書あるある入門がムズい

@mos399 Ай бұрын

次回のCWEも楽しみです。なるほど！あいまい検索の精度が上がるんですね。ちなみに、プロ将棋棋士の谷合先生がBERT を使っていわゆる将棋AIを作った動画を観たことがあります。将棋盤(81字詰め原稿用紙と言えなくもない)や駒台に駒(単語そのもの)が配置された状態を文章に見立てて学習させたそうです。人間と違い、妙手と(時折)珍手が織り混ざった面白い棋風でした。

@----___----___----___----___-- Ай бұрын

あのヨビノリさんの動画で作ったソフトをさらに進化させて、今年の世界コンピュータ将棋選手権に出場されています。しかも決勝ラウンドまで進出し、8位と見事な成績を納めてびっくりです。

@mos399 Ай бұрын

続報を教えてくださってありがとうございます。素人目には「角筋(例えば88から22玉を覗く)なんかは81字詰め原稿用紙でいうと61文字も離れてる。さらに79に角を引いて24で角交換を狙う筋とも10文字も離れてるのに、transformerの中ではどんな評価関数なんだ？」と不思議です。例えるなら、谷合先生のpolonaiseが「ページ左下の文末から右上の文頭を推定する」という独特の読書術を持っていることになりますよね。

@oshiba_tetsuzo Ай бұрын

画像生成AIも色の遷移確率とパターンとで似たようなことをしているという理解で良いのでしょうか

@HACKIE300 Ай бұрын

李凌寒, 鶴岡慶雅, 対訳データを使わないマルチリンガル表現学習に必要な分布構造とは何か，言語処理学会第29回年次大会 (NLP2023), 2023年3月. (最優秀賞)

@ZAP_Ruuuuuu Ай бұрын

キャー！リョーサーン！

@user-kb5yf6vx4c Ай бұрын

りょーさん、バキバキの目うまいな…

@kuma056 Ай бұрын

当方アナログゲーマー 100面ダイス。別名ゴルフボール完全にネタアイテム。なかなか止まらないし、止まったところでどれが一番上かもわかりづらいしで、実用性はない。普通は、10面ダイスを10の位と1の位の2回(または2つ)振って1〜100の乱数を作る 4面ダイス。別名マキビシ図形としての抜群の安定度のせいで、全然回らない。手からスライドしてそのまま落ちるようにも見えて、イカサマ疑惑も出るくらい。気にする人は 4k面ダイス(kは2以上の整数)の出目dを d mod 4 (ただし、0の場合は4とする) や flloor( (d-1)/k) + 1 で変換して代用する。

@hisenkei Ай бұрын

直前の単語だけが次の単語に影響するという表現は語弊があるような

@gamma9472 Ай бұрын

言語モデルの基本が「与えられた文から、次に現れる単語を予測する」だというのはきっと正しい説明なんだろうけど、私たちがユーザーとして見るChatGPT等の実現していることが「質問に答える」なので、「文の続きを予測する」から「質問に答える」への繋がりが見えなくて結局よく分からないという感覚が残ってしまう

@user-zs9mh3ci3k Ай бұрын

コーンフレークのようなllm

@user-zs9mh3ci3k Ай бұрын

スモールランゲージモデルわかりやすい

@user-zs9mh3ci3k Ай бұрын

ポルトガル語でケーキのお礼をこの間書いた

@user-zs9mh3ci3k Ай бұрын

生成AI今はトピックパンケーキより流行ってる初歩のラジオなんて言う雑誌が昔あった。初歩のAI