大規模言語モデルはただの遷移図。実際に作って理解しよう！【大規模言語モデル1】

Рет қаралды 65,315

Күн бұрын

プロモーション：Notion AI
Notion は無料で使えて、月額10ドルで Notion AI をご利用いただけます。
ntn.so/yurucom1
ことラボのりょーさんをお招きした「大規模言語モデル」シリーズ。「手書きで小規模水野言語モデルを作ろう」「本質の遷移図から長年の工夫により実った」など、大規模言語モデルの根幹について話しました。
【ことラボ】
◯Twitter → x.com/KotoLaboRyo
◯KZfaq → / @kotolabo
【目次】
0:00 大規模言語モデルについて気になるよね？
2:00 りょーさんは自然言語処理の専門家
5:00 手書きで小規模言語モデルを作ろう
10:13 水野言語モデルでどんな文が生成できる？
15:39 NotionAIの有効な使い方
24:36 本質は遷移図、長年の工夫が実る
【参考文献】
◯LLMの現在（スライド）
speakerdeck.com/pfn/llmnoxian...
◯大規模言語モデル入門
amzn.to/3VKqed7
【サポーターコミュニティへの加入はこちらから！】
yurugengo.com/support
【親チャンネル：ゆる言語学ラジオ】
/ @yurugengo
【実店舗プロジェクト：ゆる学徒カフェ】
/ @yurugakuto
【おたよりフォーム】
forms.gle/BLEZpLcdEPmoZTH4A
※皆様からの楽しいおたよりをお待ちしています！
【お仕事依頼はこちら！】
info@pedantic.jp
【堀元見プロフィール】
慶應義塾大学理工学部卒。専門は情報工学。WEBにコンテンツを作り散らかすことで生計を立てている。現在の主な収入源は「アカデミックに人の悪口を書くnote有料マガジン」。
Twitter→ / kenhori2
noteマガジン→note.com/kenhori2/m/m125fc452...
個人KZfaq→ / @kenhorimoto
【水野太貴プロフィール】
名古屋大学文学部卒。専門は言語学。
某大手出版社で編集者として勤務。言語学の知識が本業に活きてるかと思いきや、そうでもない。
Twitter→ / yuru_mizuno
【姉妹チャンネル】
◯ゆる音楽学ラジオ( / @yuruongaku )
◯ゆる民俗学ラジオ ( / @yuruminzoku )
◯ゆる天文学ラジオ ( / @yurutenmon )
◯ゆる書道学ラジオ ( / @yurushodo )
◯ゆる生態学ラジオ ( / @yuruseitai )
◯ゆる哲学ラジオ ( / @yurutetsugaku )
#大規模言語モデル #ゆるコンピュータ科学ラジオ_大規模言語モデル

Пікірлер: 183

@yurucom 28 күн бұрын

プロモーション：Notion AI Notion を無料で使い始めて、月額 10 ドルで NotioAI も利用してみてください。 ntn.so/yurucom1 【ことラボ】 ◯Twitter → x.com/KotoLaboRyo ◯KZfaq → www.youtube.com/@kotolabo 【参考文献】 ◯LLMの現在（スライド） speakerdeck.com/pfn/llmnoxian-zai ◯大規模言語モデル amzn.to/3VKqed7 【サポーターコミュニティへの加入はこちらから！】 yurugengo.com/support 【おたよりフォーム】 forms.gle/BLEZpLcdEPmoZTH4A ※皆様からの楽しいおたよりをお待ちしています！

@kettle9265 27 күн бұрын

概要欄と固定コメントで脱字してませんか？ NotioAI → Notion AI

@meiorz.. 27 күн бұрын

Notion ってオフラインで使えないんすよねー。アタシは、共有用にしてます。

@miyabi-qt7ih 27 күн бұрын

りょーさん、ホリモトモリモト上位互換じゃん

@mugen_gamelab 27 күн бұрын

りょーさんまさかのコンピュータ系博士号堀元と水野を足して2をかけた存在だったのか……

@hukuuchi 26 күн бұрын

堀元の絶対値と言わないやさしさ

@arcsin1203 27 күн бұрын

りょー　100%→　さん　100%→　の　100%→　笑顔　100%→　から　100%→　しか　100%→　取れ　100%→　ない　100%→　栄養　100%→　が　100%→　ある

@user-kl7hd2vv3e 27 күн бұрын

普通の遷移図で良くて笑うw

@user-uu9mr9pj9g 27 күн бұрын

n=1

@user-it5fp6tg6k 5 күн бұрын

からしか辺りからはマジで100％に近い確率になってそうてまはある

@Redcoral_moe 27 күн бұрын

コンピュータサイエンスで博士号を持っている言語学系youtuberってもしかしてスーパー水野見ってコト！？

@TomTomMambo 26 күн бұрын

りょーさんたまに遮光器土偶みたいな顔なるのジワジワくる

@user-ic5uw1rl5m 27 күн бұрын

りょーさん博士号取得してるの強すぎる。 KZfaqやりながら博士取得したなんて。

@user-ts9dh5vl1t 27 күн бұрын

かなりりょーさんが一人ゆる言語学ラジオ過ぎておもろい

@gnwf47 27 күн бұрын

この動画のコメント欄における、「堀」に続く文字の遷移確率は以下の通り。堀→元（78%）堀→本（22%）なお、n = 9 ※2024年6月16日18時00分現在

@MiMi-ke5wj 24 күн бұрын

良い………

@s_kanata220 26 күн бұрын

一人でどっちのチャンネルも乗っ取れる男、りょー

@Sasami1729_ 26 күн бұрын

びっくりしてるりょーさん、笑ってるりょーさん、にこにこしてるりょーさん、キマってるりょーさん、かわいいな……

@toshihirom2038 27 күн бұрын

ことラボりょーさんがことラボりょーさん過ぎてモノマネかと思った

@user-catBrathers 27 күн бұрын

毎回専門家の中抜きインターフェイスに徹する堀元さん

@nashi.2279 27 күн бұрын

りょーさんのすごさと堀本・水野さんのピエロさが際立っている神回だと思いました。

@lanternsaristotle2255 26 күн бұрын

また、ゲスト回の評価が上がってしまう、、、

@yaochuhai 27 күн бұрын

りょーさんの著書、持ってたんだ自分...

@kiroro7912 27 күн бұрын

東大で情報学博士号とってるのか。しかも自然言語処理やってて、KZfaqr としても人気。最近ゲスト(上位互換)多いな笑

@kurata_wolke 27 күн бұрын

25:57 「小手先」って聞いた瞬間のりょーさんの笑顔怖すぎるんですが

@azuki97 27 күн бұрын

マルコフ過程のときのりょーさんの顔すき

@gnwf47 27 күн бұрын

そのためのワイプですよね

@rabutlilriddle1904 27 күн бұрын

たまに出番がくると、張り切って(ただし当社比)答えるりょーさんが面白いw

@user-xt5vp7lb6r 27 күн бұрын

ゆるコンゲスト回、江崎先生もりょさんも説明が上手いから無理やり画面外に弾き出して語ってるようにしか見えない笑

@_saw6754 27 күн бұрын

コンピュータ科学と言語学のあわさった分野の博士持ちって、りょーさんホリモトミズノ融合体の上位概念みたいな存在じゃん

@gamemaru 27 күн бұрын

7:45 マルコフ過程に驚くりょーさん好き

@user-hk2dn5gw1m 27 күн бұрын

りょーさんの下位互換とAIの下位互換がやってるチャンネル

@user-ck8hv9el1r 27 күн бұрын

装丁見る限り、「(大規模言語モデルについて)知ってればいいや」とかいうぬるい層を対象にした本じゃないし読めないのも当然。「知っている」と「作れる」の間には大きな開きがある。この本は後者になりたい人向けと思われる。

@user-qy2rm7ub6u 27 күн бұрын

こっくりさんって生成AI……？

@ダレカサン＿イラスト 24 күн бұрын

コンピューター室でやったら先生に「おっ！言語モデル作ってるねぇ！平仮名と数字一文字ずつで作るのは、遷移が膨大過ぎてしんどいかもだけど、シブくて好きだな～ッ」とか言われるのか...生徒熱出しちゃうよ

@zc33s31 27 күн бұрын

神（ゲスト）の神託を得るエセ宣教師回はハズレなし。世の理不尽さを感じる。

@mimiget 27 күн бұрын

びっくりキャット可愛くて草

@idmuri 27 күн бұрын

カッパについてのうんちくを聞いて一般知識から答えないということは純粋にnotionに蓄えられた情報から答えてくれるってこと…！？それなら本当に助かる具にもつかない素朴心理学的な知識を排して色々ときけるということに…！

@aaaajp 27 күн бұрын

りょーさん、堀元と水野を足して２で割らないタイプの人だったか...

@sorrycomment 26 күн бұрын

優秀な専門家になんちゅー照明の当て方（笑）

@canterantanable 27 күн бұрын

ってことは、水野さんと堀本さんを足して、4でかけたら、りょーさんってこと！？

@kotokoto8362 26 күн бұрын

院生と人気KZfaqr両立してLLM関連の研究で博士号とって業界注目の本の著者のひとりでカッコよくて面白くて声も良い、だと...🥴 もうこれ都市伝説やろしかしこの本見たことあるわぁ...

@user-qs3id1jd1n 27 күн бұрын

りょーさん2人でもう上位版のゆる言語学もゆるコンピュータ科学ラジオできるじゃん…

@mkd09218 26 күн бұрын

ちょうど『大規模言語モデル入門』、卒業研究に使わせてもらってます。「ChatGPTにクイズを答えさせる」の章、助かります。

@hiroyukippp7380 26 күн бұрын

りょうさんの新情報のコンピュータサイエンス博士号とマキシマムザホルモン歌うって高低差ありすぎてハゲそう。

@musicdm7644 27 күн бұрын

・別画面・鉄の表情・声のトーンりょーさんが精巧に作られたAIではなく生身であるのが分かるまで5分かかりました。

@komi3032 27 күн бұрын

絶対trpgやるのに使えるから買ってええやろって気持ちで100面ダイス買ってる

@user-si8bh7jo9t 27 күн бұрын

りょーさん、博士号取ってたのか…。しかもコンピュータ系の(語彙力低い)？？

@user-tq8mn3uz2r 26 күн бұрын

僕がマウスが４の下り、数字に対応する記述をしてなかったせいでそのまま出力されてしまったプログラム感があってとても趣がある。

@user-ou8md6fm8o 27 күн бұрын

球に近いサイコロ止まらなくて亡くなった話好き

@watashi-wa-tawashi 26 күн бұрын

殺すな殺すな

@例のあきやま 27 күн бұрын

つまり、マキシマムザりょーさんはホリモトモリモトミズノジズノってコト？

@Kobarienne 26 күн бұрын

思いがけないところでりょーさん登場で嬉しい週末に。ことラボでやってた「単語ベクトル」がとても興味深かったので、次回が楽しみです❤

@metboos506 27 күн бұрын

ChatGPTも紙と鉛筆とサイコロのようなもの　と聞いて、「パソコン（電子計算機）もソロバンに毛が生えたようなもの」を思い出した

@pihha5204 27 күн бұрын

？？？「チェスなんてただのマルバツゲーム」

@godzillaaquatimez 23 күн бұрын

素晴らしい太貴模言語モデルができましたね！

@user-uq6mu2rl2j 27 күн бұрын

僕はうなぎだって小規模言語モデルが吐き出した文かもしれん

@tamarind_kingdom 27 күн бұрын

りょーさん、そんなにつよつよの方だったのか…

@mudaso-heavy-user 27 күн бұрын

楽しみに待ってました

@tsuyuki007 27 күн бұрын

ぼくも！

@user-vd2tz1cf3v 27 күн бұрын

たのまち！

@Pepe-dn4od 27 күн бұрын

奇遇でね、僕もです😊

@tsicsafjapan9371 27 күн бұрын

たのまち

@user-vg2ix3qx8s 27 күн бұрын

マジで仲悪くなったのかと心配してたから安心した

@user-fn6jn4hn3f 27 күн бұрын

江崎先生回以来の福音書(中抜き仲介業者)スタイルだぁーー❗ 楽しみにまってました。

@lafit.9106 27 күн бұрын

りょーさんの素の笑顔とかツッコミ見られるの最高すぎ❤次も楽しみにしてます!

@gush-accessories 27 күн бұрын

高精度堀元モデルがドツボにハマっていく過程が動画の最後におさめられていてわかりやすかった

@user-xl5lv2ng2c 27 күн бұрын

李さん！

@daibun2001 13 күн бұрын

コンピュータ博士って自称するのめちゃくちゃかっこいいな

@user-bw6uh9em4v 12 күн бұрын

りょーさんって何者かとずっと思ってたけど自然言語処理の専攻だったのか...！

@shotoutlaw 27 күн бұрын

りょーさんゲスト嬉しすぎる

@you-cm6jx 27 күн бұрын

りょーさんのカラオケ見たすぎるw

@hbs5394 27 күн бұрын

最近ニューラルネットワークの勉強終わった後なので、ちょうどLLMに関心が向いてるところでした！次回楽しみにしてます！！

@user-jq2hc8fi4l 26 күн бұрын

7:47 りょーさん驚く

@TheSlowcub 24 күн бұрын

めちゃめちゃ楽しいです😂 雑談に混ぜてもらってる感じ😂 それで学習できるんだから最高😊

@user-ye6mm4kp5r 27 күн бұрын

ことラボのりょーさんは、ボイニッチ手稿とか解説されてましたよね次回もたのしみ

@hrsm-chn 26 күн бұрын

試しにGPT‐4oに「非文を言って」と頼んだら非文を生成してくれました。かしこい

@ddw5111 27 күн бұрын

堀元見が「効率重視の世の中はよくない」とか言うんかよって笑ってたら即突っ込まれてて更に笑った

@shomwoys 27 күн бұрын

りょーさんの元気な「ダメです！」が聞けて大満足これなかなか良シリーズになるのでは？りょーさんだk NotionAIの中の人も呼んで「こんな使い方したらおもろいで」ってので締めれたりしたら、興味的にも実用的にもチャリンチャリン的にも最強なのでは

@kanametatsuya 27 күн бұрын

次回からもとんでもなく楽しみ

@user-op9di5fx8b 26 күн бұрын

面白さ優先して、どの部分の執筆したか確認しないでツッコミ入れてやらかしてるの堀元しぐさあって良い。もっとやらかしてほしい。

@user-dg6eu1hu8t 27 күн бұрын

やったー！やって欲しいと思ってた題材がついに！

@KT-xz9ys 27 күн бұрын

機械学習のちょうど良い骨太本を探していたので早速購入いたしました！

@koi506 27 күн бұрын

数理モデル回に倣った例の福音書スタイルですね。

@chii8039 16 күн бұрын

28:06 !cat → びっくりキャット！！、いいなあ。

@user-zs9mh3ci3k 26 күн бұрын

原理の説明がシンプルで分かりやすくて良かったです。分かったつもりになれます鉛筆とサイコロはビジュアルで良かったです。ロシア風の名前の方も後で調べてみます。では、さようなら

@sirius8203 26 күн бұрын

3:53 調べたらえっっぐい経歴出てきて笑う

@ryuukarinn 27 күн бұрын

ちょうど自然には来ないものが組み合わされる可能性が高い、気持ち悪い芸術を出力する生成AIを作ってみようと思っていたところなので助かりました！

@HACKIE300 26 күн бұрын

李凌寒, 鶴岡慶雅, 対訳データを使わないマルチリンガル表現学習に必要な分布構造とは何か，言語処理学会第29回年次大会 (NLP2023), 2023年3月. (最優秀賞)

@kentoo_1 27 күн бұрын

りょーさん多才すぎる… LLM入門積読してます！いつか読む！

@user-zs9mh3ci3k 27 күн бұрын

"The Female Student" captures the emotions of a young girl as she experiences a day filled with various moments, waiting for happiness that arrives a night too late.

@user-kl7hd2vv3e 27 күн бұрын

りょーさんそっち系だったんだその本読んだことあるかも

@user-kl7hd2vv3e 27 күн бұрын

これ、これから自然言語処理やる学生には良い刺激かも

@user-MizumasiGohanKansokusha 27 күн бұрын

Notion きたー！

@user-fj1ku8hw5b 26 күн бұрын

10:53 d100助かる

@user-hs7ep9re3v 27 күн бұрын

18:58 読書メモ×　野菜メモ〇

@user-kl7hd2vv3e 27 күн бұрын

大学の教科書あるある入門がムズい

@foxface120 26 күн бұрын

12:05 型を間違える水野さん

@user-ib3ks5do6i 27 күн бұрын

新聞記事をクリップして、死蔵させていたけど、これで掘り起こせそう。（活用できるかは別）

@user-bi6uj7yf6q 27 күн бұрын

専門家が体調不良にならなくて良かった！🐱

@user-bi6uj7yf6q 27 күн бұрын

ChatGPTに問いました🐱 自分: 「僕はマウスができない。」この文は自然ですか？そして、この文をもっと自然にするとどうなりますか？ ChatGPT: 「僕はマウスができない。」という文はやや不自然に感じます。「マウスができない」という表現がわかりにくいからです。おそらく「マウスを使うことができない」や「マウス操作ができない」と言いたいのだと思います。もっと自然な表現にすると、以下のようになります：「僕はマウスを使うことができない。」「僕はマウス操作ができない。」状況によっては、もう少し具体的に言うこともできます：「僕はマウスの操作が苦手だ。」「僕はマウスを使うのが難しい。」これらの表現の方が、より自然に聞こえるでしょう。

@user-bi6uj7yf6q 25 күн бұрын

ちなみに「できる」には「作れる」の意味もある気がします(「赤ちゃんができた。」「AGIができた。」など)。

@mos399 27 күн бұрын

次回のCWEも楽しみです。なるほど！あいまい検索の精度が上がるんですね。ちなみに、プロ将棋棋士の谷合先生がBERT を使っていわゆる将棋AIを作った動画を観たことがあります。将棋盤(81字詰め原稿用紙と言えなくもない)や駒台に駒(単語そのもの)が配置された状態を文章に見立てて学習させたそうです。人間と違い、妙手と(時折)珍手が織り混ざった面白い棋風でした。

@----___----___----___----___-- 26 күн бұрын

あのヨビノリさんの動画で作ったソフトをさらに進化させて、今年の世界コンピュータ将棋選手権に出場されています。しかも決勝ラウンドまで進出し、8位と見事な成績を納めてびっくりです。

@mos399 26 күн бұрын

続報を教えてくださってありがとうございます。素人目には「角筋(例えば88から22玉を覗く)なんかは81字詰め原稿用紙でいうと61文字も離れてる。さらに79に角を引いて24で角交換を狙う筋とも10文字も離れてるのに、transformerの中ではどんな評価関数なんだ？」と不思議です。例えるなら、谷合先生のpolonaiseが「ページ左下の文末から右上の文頭を推定する」という独特の読書術を持っていることになりますよね。

@ZAP_Ruuuuuu 26 күн бұрын

キャー！リョーサーン！

@user-kb5yf6vx4c 25 күн бұрын

りょーさん、バキバキの目うまいな…

@oshiba_tetsuzo 27 күн бұрын

画像生成AIも色の遷移確率とパターンとで似たようなことをしているという理解で良いのでしょうか

@kemukemu8080 27 күн бұрын

他チャンネルKZfaqr兼他IT企業社員を招いてNotionプロモーションするコネクティングチャンネル

@kuma056 27 күн бұрын

当方アナログゲーマー 100面ダイス。別名ゴルフボール完全にネタアイテム。なかなか止まらないし、止まったところでどれが一番上かもわかりづらいしで、実用性はない。普通は、10面ダイスを10の位と1の位の2回(または2つ)振って1〜100の乱数を作る 4面ダイス。別名マキビシ図形としての抜群の安定度のせいで、全然回らない。手からスライドしてそのまま落ちるようにも見えて、イカサマ疑惑も出るくらい。気にする人は 4k面ダイス(kは2以上の整数)の出目dを d mod 4 (ただし、0の場合は4とする) や flloor( (d-1)/k) + 1 で変換して代用する。