現代のAIは24時間体制の「子守り」が必要？開発者の泥臭い努力を聞く回【大規模言語モデル3】

Рет қаралды 50,448

Күн бұрын

AI技術者は泥臭い努力まみれでした。「データ王に俺はなる！！！」「大規模言語モデルに必要な子守りと学校教育」「泥臭い努力でデータの泥を取り除く」など、大規模言語モデル研究者たちの努力について話しました。
【ことラボ】
◯Twitter → x.com/KotoLaboRyo
◯KZfaq → / @kotolabo
【目次】
0:00 データ王に俺はなる！！！
1:02 コモン・クロールは海賊王の上位互換
5:30 データの泥を取り除く
16:58 大規模言語モデルの子守りは大変
20:54 大規模言語モデルにも学校教育が必要
25:23 泥臭い努力が大きなものを生む
29:51 一番恥ずかしい思いをしたのはどっち？
【参考文献】
◯大規模言語モデル入門
amzn.to/3VKqed7
◯大規模言語モデル開発における日本語 Web 文書のフィルタリング手法の検証（榎本 et al., 言語処理学会 2024）
www.anlp.jp/proceedings/annua...
→動画内で紹介した「意味がありそうでない文字列」はここから。
◯ONE PIECE
amzn.to/3VDysCl
◯ichikara-instruction LLMのための日本語インストラクションデータの作成
www.anlp.jp/proceedings/annua...
◯ゲンロン戦記
amzn.to/4ch6xPU
【サポーターコミュニティへの加入はこちらから！】
yurugengo.com/support
【親チャンネル：ゆる言語学ラジオ】
/ @yurugengo
【実店舗プロジェクト：ゆる学徒カフェ】
/ @yurugakuto
【おたよりフォーム】
forms.gle/BLEZpLcdEPmoZTH4A
※皆様からの楽しいおたよりをお待ちしています！
【お仕事依頼はこちら！】
info@pedantic.jp
【堀元見プロフィール】
慶應義塾大学理工学部卒。専門は情報工学。WEBにコンテンツを作り散らかすことで生計を立てている。現在の主な収入源は「アカデミックに人の悪口を書くnote有料マガジン」。
Twitter→ / kenhori2
noteマガジン→note.com/kenhori2/m/m125fc452...
個人KZfaq→ / @kenhorimoto
【水野太貴プロフィール】
名古屋大学文学部卒。専門は言語学。
某大手出版社で編集者として勤務。言語学の知識が本業に活きてるかと思いきや、そうでもない。
Twitter→ / yuru_mizuno
【姉妹チャンネル】
◯ゆる音楽学ラジオ( / @yuruongaku )
◯ゆる民俗学ラジオ ( / @yuruminzoku )
◯ゆる天文学ラジオ ( / @yurutenmon )
◯ゆる書道学ラジオ ( / @yurushodo )
◯ゆる生態学ラジオ ( / @yuruseitai )
◯ゆる哲学ラジオ ( / @yurutetsugaku )
#大規模言語モデル #ゆるコンピュータ科学ラジオ_大規模言語モデル

Пікірлер: 206

@yurucom 7 күн бұрын

【ことラボ】 ◯Twitter → x.com/KotoLaboRyo ◯KZfaq → www.youtube.com/@kotolabo 【参考文献】 ◯大規模言語モデル入門 amzn.to/3VKqed7 ◯大規模言語モデル開発における日本語 Web 文書のフィルタリング手法の検証（榎本 et al., 言語処理学会 2024） www.anlp.jp/proceedings/annual_meeting/2024/pdf_dir/P8-6.pdf →動画内で紹介した「意味がありそうでない文字列」はここから。 ◯ONE PIECE amzn.to/3VDysCl ◯ichikara-instruction LLMのための日本語インストラクションデータの作成 www.anlp.jp/proceedings/annual_meeting/2024/pdf_dir/A6-3.pdf ◯ゲンロン戦記 amzn.to/4ch6xPU 【サポーターコミュニティへの加入はこちらから！】 yurugengo.com/support 【おたよりフォーム】 forms.gle/BLEZpLcdEPmoZTH4A ※皆様からの楽しいおたよりをお待ちしています！

@accmusic8682 6 күн бұрын

Twitter！？

@ychitter 6 күн бұрын

堀元さん、ウィーアーのキー：+5でした。さすがです。

@user-bz7qo4yc3p 6 күн бұрын

出た！キー牛だ？！

@Plasma_Cluster 6 күн бұрын

これ多分麦わらの一味ver.と同じですよね自分のことを麦わらの一味だと思っているのかもしれません

@mash23456 6 күн бұрын

いやEだから原曲と同じキーでしょ

@glikovsky 6 күн бұрын

マジレスすると堀元さんのキーはA♭で、原曲のキーはE♭なのでカラオケ的な表現で言えば +5で合っているかと思います（麦わらの一味ver. というのは寡聞にして存じ上げず…）

@ychitter 6 күн бұрын

@@Plasma_Cluster ワンピース詳しくないので、今聴きました。このキーのバージョンもあるんですね。勉強になりました。

@wararyo 6 күн бұрын

0:28 りょーさんが「ダダン　ダダン」って真顔で合いの手を入れてるの面白すぎる

@user-sn2wh5nj2c 6 күн бұрын

導入の10秒くらいの歌でキーの高さ、りょーさんの合いの手、終わってる符割りの大規模言語モデルの3波襲ってきた

@ladrey127 6 күн бұрын

大規模言語モデルのところだけ譜割り終わりすぎてて好き

@user-zt6vr5cm3c 6 күн бұрын

堀元さんのウィーアー！もなんだけど、ナレーションからのパーカスまでこなすりょーさんがあまりにもツボ

@musicdm7644 6 күн бұрын

ギター講師です。堀元さんの歌、キー+5の最高音Dかつ発声がミックスボックス。 Mrs.GREEN APPLE歌いたい生徒の見本にさせていただきます。

@Mike_nm7 6 күн бұрын

動画はちゃんと全部観てから評価を押すようにしてるのですが、この動画に関しては開始30秒で高評価ボタン押しました

@user-kx8ez5uf4v 6 күн бұрын

堀元さんこんな良い高音出るのか……

@MY03318 6 күн бұрын

開始30秒でくっそ笑った

@user-uh5xc8xw6q 6 күн бұрын

普段は敬語を使ったり、さん付けして呼び合ってるのに、「お前」とか「～なわけねぇだろ」とかたまに言葉が雑になるの本当に好き普段は大人な距離をそれなりに保ってるけど、ふとした瞬間に距離がガン詰まりしているの見るとなんだか聞いてて楽しくなります。とか思ってたけど、この人たち布団くっ付けて朝まで寝っ転がって話してるの、全然大人の距離感とか関係なかった。ずっと仲良くしてくれ。

@ladrey127 6 күн бұрын

16:00 Excelでは，〇年◯月◯日の形式で入力すると自動的に文字列から日付データに変換されるので，「8桁の数値ではなく日付データにして下さい」が伝わらない知性がない人に，できるだけわかりやすくしてほしい処理を伝えてるのに，逆に知性がない人が変な指示をしてきた認定されるかわいそうな人

@HitYoutube 6 күн бұрын

いや英語表記のJan,Febのほうが、なんで文字型入るねん！だったり。まあ日本語でも年号入ってると、平成31年　令和元年問題もありますがｗ

@ayame_mb 6 күн бұрын

ちょっと導入が面白すぎる

@user-oy2nn5pc3l 6 күн бұрын

まだ導入しか見てないけど腹ちぎれるくらい笑った

@Mtrong-Sgang-Mra 6 күн бұрын

物理学徒として研究をし始めた頃、アルミの板をひたすら削ってる時期があって嫌気がさしてたのですが、ふと読んだ伝記に、かのガリレオが望遠鏡を開発するためにひたすらレンズを研磨し続けていたことを知り、「あのガリレオですら地道な作業を怠らなかったのに自分ごときが何を偉そうに」と思うようになり、地道な作業をやり続ける勇気を得たことがありました。

@doridoriization 6 күн бұрын

開始一分のつかみで全部持ってかれた。

@OPPEKE7 6 күн бұрын

オープニングの超高音で鼓膜が破れそうになりましたｗ

@tamarind_kingdom 6 күн бұрын

この3人お笑いトリオとして完璧では？？

@user-oy2nn5pc3l 6 күн бұрын

「らせん階段、カブト虫、廃墟の街、イチジクのタルト、カブト虫、ドロローサへの道、カブト虫、特異点、ジョット、天使（エンジェル）、紫陽花、カブト虫、特異点、秘密の皇帝」りょ「お、無駄な文やん弾いたろ！」

@k1730789 6 күн бұрын

弾いて正解やろｗ

@zudah228 6 күн бұрын

ウィーアーのキークソ高くて笑った

@mari-zh9hb 3 күн бұрын

ほぼToshi

@user-cq2oo5on5j 6 күн бұрын

オープニングから先に進めない、流石に面白すぎる

@ebangelist2 6 күн бұрын

某大物歌手が使用しているものと同じと鳴り物入りで導入されたマイクニキも、ナスから繰り出される超高音ウィーアーには思わずにっこりしていることと存じます。

@ni1015 6 күн бұрын

6:45 ｢オセアニアじゃあ常識なんだよ！｣思い出した

@taku_tsuchida_bassake 6 күн бұрын

最高のOPで5回くらいリピしてました。

@HK-fo3rk 6 күн бұрын

13:02 「SEO対策で単語羅列してある文章を弾くために、名詞が9割以上の文章はブロックする」っていう話ですが、「これだとジョジョ6部に出てくるプッチ神父の14の言葉も弾かれちゃうんだなぁ」とか考えてたら動画が終わってました。

@user-uf5qg4ik5j 6 күн бұрын

ちなみに、SEO対策としての単語の数は、3つ位が、良いとされている。多く設定すると、Googleクローラーは、スパムと判断されて、ランクが下がる。

@gasyano936 6 күн бұрын

ワンピースのアマゾンリンクが説明文にあんのマジ面白いデカいものにはちょい絡みでも全力で乗っていくスタイル好き

@renk1310 6 күн бұрын

6:42 パプリカの発狂シーンで草。あれ好きなんだよな。パプリカは主述が対応してて文法的には正しいけど、自然って判定されるのかな？パプリカの発狂シーン kzfaq.info/get/bejne/Y658hc2Is6mZmXU.htmlsi=xdhxQ92kVfit1wVP

@mudaso-heavy-user 6 күн бұрын

楽しみに待ってました

@tsicsafjapan9371 6 күн бұрын

たのまち

@Pepe-dn4od 6 күн бұрын

奇遇ですね、僕もです✨

@user-gn5wj4cn8q 6 күн бұрын

たのまち❤

@SachsenWH 6 күн бұрын

出だしのウィーアー、きただにひろしではなくn人の麦わら海賊団篇(n=7,9)のほうで草

@user-rv2tq1xw4m 6 күн бұрын

参考文献にONE PIECEあって草

@user-sd4hi4sh2l 6 күн бұрын

開始から全力w好きw

@katsuhikonishimra-hb3ui 6 күн бұрын

主婦の人が頑張ってるくだりで、自分のとこで学習データ作成をお願いしたら「在宅ワーク謎の資料」というディレクトリ名で返ってきて笑ったのを思い出しました

@user-xg3lk5dt8z 2 күн бұрын

22:50 水野さんのツボを突く瞬間好き

@user-fh5mn3mt9g 6 күн бұрын

おうた動画たすかる

@xoxxox6992 6 күн бұрын

楽しそうでよかったです。

@279lseahorse 6 күн бұрын

冒頭のとこしか見てないけど、堀本さん歌うめぇ

@user-ms8ec2fh3i 4 күн бұрын

ｶｷｱﾂﾒｴが好きすぎて全然進めない

@Sho-yu2424 6 күн бұрын

ウィーアー！4度でハモる前提なの草

@spacknyaho2643 6 күн бұрын

参考文献にONE PIECEが列記されてて草

@3d_kuma 6 күн бұрын

AIに学習させるくだり、弐瓶勉のSF作品にもその描写※識臣という仮想空間があったので「あれかー！」となりました😂こういう話はすごく面白いので、またぜひ取り扱ってほしいです。「治しておいたよ😊👍」と言ってスプレッドシートの数式を中途半端にいじくる年配上司を止める言葉10選とかやってくれたら絶対見ます…

@ddw5111 6 күн бұрын

開幕の瞬間風速がすごい

@MY03318 6 күн бұрын

あかん、何回聞いてもおもしろい

@toriko8644 6 күн бұрын

最初の40秒部分の切り抜きが欲しい

@yosoynannan 6 күн бұрын

映画パプリカでも見たような文章

@Morino-kumasaxn 6 күн бұрын

12:45 『らせん階段』…!『カブト虫』!『廃墟の街』!『イチジクのタルト』!『カブト虫』!……『ドロローサへの道』!『カブト虫』!『特異点』!『ジョット』!『天使（エンジェル）』!『紫陽花』!『カブト虫』!『特異点』!『秘密の皇帝』!!

@geromosa 6 күн бұрын

同じコピペ貼ろうとしてたが念のためコメントみておいてよかった……

@user-zt6vr5cm3c 5 күн бұрын

8:14 ここ大好き...

@kanametatsuya 6 күн бұрын

出落ち面白すぎるだろ笑笑笑笑

@animizumu 6 күн бұрын

エドシーランのマイクが初めてちゃんと使われた

@yukizokin 6 күн бұрын

最新のコンピュータの話が聴けるのが楽しいですね。

@user-rw9bl4cx9x 6 күн бұрын

今回の導入過去最高を更新した

@早川眠人 6 күн бұрын

15:25 痴性の出るエクセル……エクセル方眼紙

@rose_miura 6 күн бұрын

＿人人人人人人人人人人人人人人人＿＞　世はまさにビックデータ時代　＜￣Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y￣

@Fnak202 6 күн бұрын

以前のソフトウェア開発現場で、「自動テストの結果」「不具合報告」「不具合の修正情報」などの情報を全て WEB 上で管理できるようにして、自動集計も行えるようにしたのですが、PM チームの仕事半分は以下で埋まりました。・自動テストの誤判定を手作業で除去・不具合報告のバージョン間違いや、分かりにくい文言を手作業で修正・更新されていない不具合の状況を開発者に確認

@user-bt7cq6bi1j 6 күн бұрын

いきなり大爆笑

@user-og8sd2ei3g 6 күн бұрын

すごい人はめちゃくちゃ泥臭い努力をしてるんだなー…今回の話は個人的にすごく刺さりました。泥臭い努力こそが他の追随を許さない価値を生み出すのかもしれないですね。

@uki-800 5 күн бұрын

開幕30秒に250%くらいの火力を叩き込んで来たな　堪えきれんかった

@NT-zf8dx 6 күн бұрын

6:45 某KZfaqrが札幌旅行でやってた、支離滅裂返答ゲームみたい

@tototoruzzo 5 күн бұрын

よし、今日も頑張れるぞ！ありがとう！

@user-bz9xs6bx4p 6 күн бұрын

普通に内容興味深いのに冒頭のパンチが強すぎてそこしかコメントできない

@bota0461 6 күн бұрын

6:45　Colorless green ideas~ みがある

@VTFLab 6 күн бұрын

大変わかりやすいし面白いしで参考になるコモンクロールはボキャブラリーの獲得、ファインチューニングが学校教育、なるほど

@user-xm7fw6ux1s 4 күн бұрын

8:30 エポニムというか、シネクドキ？それにしても口に出して言いたくなるフレーズですね

@kicyoh3390 6 күн бұрын

trpgでSAN値チェック失敗して大量にSAN値減って発狂した人の話し方だった、ランボー怒りのプロパンガス構文

@2wsc1qaz72 6 күн бұрын

Excelで残してくれるだけマシです。プリントアウトして手書き修正してハンコ押してからスキャナで取り込んだPDFデータとか渡されたり、元データ要求してもハンコ押した正式なもの以外渡せんとか言ってきたり。。。

@akasute996 6 күн бұрын

24:57 "細胞が、なんか蠢いてるヮ。"って人の子の仕組みも深いところまで理解するとそうなりますよね。

@gnwf47 6 күн бұрын

音だけで入力していて「自然差」という差分に関する専門用語かと思ったら自然さ…

@user-zu2lv1he7n 6 күн бұрын

Excelの、フォントを16ポイントにして、拡大率85%にするやつ

@HitYoutube 6 күн бұрын

ごめんMS-DOS時代からExcel使っている人にとっては FixedSys16やTerminal16フォントにしといて画面だけ拡大率変えるのは常識だったのさｗ

@user-hc4lv6yj2u 6 күн бұрын

25:21 ここで水野さんが「中級者ならではの誤解」って言っちゃってるのって、りょーさんと自分2人が上級者って言ってたのに、自分だけ初級者であることを無意識に認めてしまっている言い間違えで面白い

@Jun-oh8pk 6 күн бұрын

堀元さん歌うめぇ

@80suisei-25 6 күн бұрын

6:45 どっかで聞いたかと思ったらパプリカだ！

@Shushupu_Love 6 күн бұрын

ビートボックスオープニングの次に好き

@user-jz7pu5kn3e 3 күн бұрын

23:37 突然「お！」と何かに気づいたホリモト氏

@shomwoys 6 күн бұрын

にっこにこりょーさん分たすかる

@satoshikoike8625 6 күн бұрын

10:54 このリズムとイントネーションちょっと危ういな

@kanametatsuya 6 күн бұрын

23:21 ここ好きすぎる笑実際なんでひきとぴきがあるんだろ

@perigeefullmoon 6 күн бұрын

大規模言語モデル（ワンピース）ってやっぱおもしろい😁

@iwasorange 6 күн бұрын

堀元さんの歌聞いたの初かもｗｗ

@dynamic_daikon1491 5 күн бұрын

導入が完璧すぎる

@user-gh1uu8ev8s 6 күн бұрын

開幕ずるい

@joker0926 6 күн бұрын

歌声たっかいなぁwww

@user-fm1nb3ss7k 6 күн бұрын

最初の用例にパプリカの味を感じました。

@user-tr1fq2gi9s 6 күн бұрын

堀元さんお歌上手ですね😂

@user-bz9xs6bx4p 6 күн бұрын

最近仕事でLLM関わること多くて、3章立て長いけど見るか…と思ったんだけど一瞬で終わった。面白すぎる。レギュラーになって欲しい。

@lemorin 6 күн бұрын

「ランボー怒りのプロパンガス」覚えました。

@gnwf47 6 күн бұрын

この動画のコメント欄（このコメント除く）で「堀」の遷移確率は以下の通り。堀→元 80%、堀本→ 20% （n = 5） ※2024年6月30日10時40分現在

@cork__ 4 күн бұрын

冒頭で吹いてしまった…ご飯を

@user-zj3ve2ec5y 6 күн бұрын

13:05 その話を聞いて思い出したのが、英語のバッファロー早口言葉「Buffalo buffalo Buffalo buffalo buffalo buffalo Buffalo buffalo.（バッファロー種のバッファローがいじめているバッファロー種のバッファローが、バッファロー種のバッファローをイジメている）」「baffalo」が「バッファロー種の」という形容詞にも、「バッファロー」という名詞にも、「イジメる」という動詞にもなるという話。上記の文も、名詞ばかりに見えてしまうが、切り分けると文になっている。と。日本語と英語でまた違うのかも知れないが、難しいところ…ですか？

@Seiya_laugh 6 күн бұрын

憶測ですが、英語は同じ単語が名詞にも動詞にもなるケースが珍しくないので、品詞分解のような処理をしていると思います。とはいえ、ここまで同じ単語が続くのはかなりの例外なので、正しく品詞分解が出来ず、結局弾いていそうですが笑

@user-zj3ve2ec5y 6 күн бұрын

@@Seiya_laugh そうなんです。そこが難しいかなぁ、と。さらに言うと、日本語でも「●●する」みたいに名詞を動詞化する手段がないではないので、参考にはなるのではないか、とも。