【数えるだけ】AIが単語を理解するトリックが巧妙すぎる【大規模言語モデル2】

Рет қаралды 62,151

Күн бұрын

プロモーション：Notion AI
Notion は無料で使えて、月額10ドルでNotion AIをご利用いただけます。
ntn.so/yurucom1
大規模言語モデルの肝「単語ベクトル」とは？「単語を数字の組で表す」「ぬくもりを捨てることで実現した技術」「Transformerはとにかく何かいい感じになる」など、自然言語を扱うコンピュータ科学の技術について話しました。
【ことラボ】
◯Twitter → x.com/KotoLaboRyo
◯KZfaq → / @kotolabo
◯「単語ベクトル」とは何か？ → • 「単語ベクトル」とは何か？
【目次】
0:00 コアラの対義語は？
0:46 大規模言語モデルの肝「単語ベクトル」
6:36 単語を数字の組で表す
14:32 実際には「次元圧縮」している
18:00 対義語は真逆のベクトル？
21:57 ぬくもりを捨てることで実現した技術
26:56 素晴らしきNotionAI
30:18 文脈化単語埋め込みは味付け化係
38:34 とにかく何かいい感じになる
43:33 ニューラルネットワークとは何なのか
【参考文献】
◯大規模言語モデル入門
amzn.to/3VKqed7
◯キテレツおもしろ自然言語処理
amzn.to/3VwInd4
◯風俗の虫―捜査官が覗いた日本の風俗70年
amzn.to/4bbs62W
◯自然言語処理の必須知識！Word2Vec とは？
www.kikagaku.co.jp/kikagaku-b...
※単語ベクトルの出典
◯【入門】深層学習の革命児！Transformer を今こそ理解しよう
www.kikagaku.co.jp/kikagaku-b...
※文脈化単語埋め込みの出典
【サポーターコミュニティへの加入はこちらから！】
yurugengo.com/support
【親チャンネル：ゆる言語学ラジオ】
/ @yurugengo
【実店舗プロジェクト：ゆる学徒カフェ】
/ @yurugakuto
【おたよりフォーム】
forms.gle/BLEZpLcdEPmoZTH4A
※皆様からの楽しいおたよりをお待ちしています！
【お仕事依頼はこちら！】
info@pedantic.jp
【堀元見プロフィール】
慶應義塾大学理工学部卒。専門は情報工学。WEBにコンテンツを作り散らかすことで生計を立てている。現在の主な収入源は「アカデミックに人の悪口を書くnote有料マガジン」。
Twitter→ / kenhori2
noteマガジン→note.com/kenhori2/m/m125fc452...
個人KZfaq→ / @kenhorimoto
【水野太貴プロフィール】
名古屋大学文学部卒。専門は言語学。
某大手出版社で編集者として勤務。言語学の知識が本業に活きてるかと思いきや、そうでもない。
Twitter→ / yuru_mizuno
【姉妹チャンネル】
◯ゆる音楽学ラジオ( / @yuruongaku )
◯ゆる民俗学ラジオ ( / @yuruminzoku )
◯ゆる天文学ラジオ ( / @yurutenmon )
◯ゆる書道学ラジオ ( / @yurushodo )
◯ゆる生態学ラジオ ( / @yuruseitai )
◯ゆる哲学ラジオ ( / @yurutetsugaku )
#大規模言語モデル #ゆるコンピュータ科学ラジオ_大規模言語モデル

Пікірлер: 344

@yurucom 22 күн бұрын

プロモーション：Notion AI Notion は無料で使えて、月額10ドルでNotion AIをご利用いただけます。 ntn.so/yurucom1 【ことラボ】 ◯Twitter → x.com/KotoLaboRyo ◯KZfaq → www.youtube.com/@kotolabo ◯「単語ベクトル」とは何か？ → kzfaq.info/get/bejne/op6Jdq6rlpusnmw.html 【参考文献】 ◯大規模言語モデル入門 amzn.to/3VKqed7 ◯キテレツおもしろ自然言語処理 amzn.to/3VwInd4 ◯風俗の虫―捜査官が覗いた日本の風俗70年 amzn.to/4bbs62W ◯自然言語処理の必須知識！Word2Vec とは？ www.kikagaku.co.jp/kikagaku-blog/word2vec/ ※単語ベクトルの出典 ◯【入門】深層学習の革命児！Transformer を今こそ理解しよう www.kikagaku.co.jp/kikagaku-blog/deep-learning-transformer/ ※文脈化単語埋め込みの出典【サポーターコミュニティへの加入はこちらから！】 yurugengo.com/support 【おたよりフォーム】 forms.gle/BLEZpLcdEPmoZTH4A ※皆様からの楽しいおたよりをお待ちしています！

@REIA-t1 20 күн бұрын

このコメントだけ時空超えてる

@Sho-yu2424 20 күн бұрын

14:10 ここの話題で「猫吸い」の話が出てこないの逆に驚いた

@kk9538 20 күн бұрын

辞書吸いとかはやっても猫吸いにはほど遠い人たちだから・・・

@user-fg7ng9nr7q 20 күн бұрын

これが堀元水野ベクトル問題というものでタイプの違う二人だけど守備位置がファーストとサードなので中央を抜ける打球は全スルーしちゃうのです

@NINGEN.12 20 күн бұрын

正解）（堀本∪水野）￣別解）（ホリモトモリモト）￣

@qwertyfhfsrth 18 күн бұрын

りょーさんは猫吸いを意図してあの数値にしたけど、違う話題になったから合わせた？

@user-ol1gy1gz5r 20 күн бұрын

17:50 次元圧縮後の水野「ゆっくり水野だぜ。僕はマウスができないので諦めるのぜ。」

@user-hk2dn5gw1m 20 күн бұрын

社会人で「基底ベクトル」がすっと出てくるの賢すぎるだろ水野さんってやっぱり理系のセンスあるよ

@user-kl7hd2vv3e 19 күн бұрын

俺より数学のセンスあるわ

@tamarind_kingdom 20 күн бұрын

4:21 水野さんのベクトルの理解が圧倒的に正しかった

@atoncap1991 20 күн бұрын

理弱数強の底力

@ma-xb3mi 20 күн бұрын

高校数学どころかベクトル空間の定義の答えとしてだいぶ100点だと思った

@ladrey127 20 күн бұрын

行列で拡張しただけで原義的にはこっちのほうが正しい

@OneMeterNutz 20 күн бұрын

これは堀本さんが大学数学に引っ張られて本質を見失ってるよね。

@vonneumann6161 20 күн бұрын

⁠@@OneMeterNutz大学数学というかコンピュータサイエンスで使う意味に引っ張られてるベクトルは多義語だからなあ理系の中でも分野ごとに意味違う

@kentoo_1 20 күн бұрын

100次元空間の住民なので、ベクトルは「向きと大きさを持った矢印」で合ってます

@user-pq6oc7zq2i 20 күн бұрын

この動画によって、コアラと徳政の単語ベクトルは歪められたかも

@user-tn4tw7qr4d 20 күн бұрын

28:35 りょーさんコラボ回で風俗に通いまくる人物の例として両さんの名を出すな

@user-pu8vn8rq7v 20 күн бұрын

理系の大学を出ましたが、「ベクトルとは複数の数字の組」という定義は納得感がないですね複数の数字の組はベクトルの表現方法の一つに過ぎなくて、ベクトルと捉えるのはおかしい複数の数字の組がありそうです例えば「フィボナッチ数列の1番目から5番目までの数字の組」等

@applejack0094 20 күн бұрын

普段ことラボできちっとしているりょうさんが朗らかな感じになってるの、なんかめっちゃかわいい

@cabigonyoshi2590 18 күн бұрын

ダメだダメだダメだとか、うるさくない程度の顔芸による会話の潤滑剤の役割とか、天の声適正高すぎて素晴らしい

@accmusic8682 20 күн бұрын

「猫」「吸引」は「猫吸い」のことが主でしょ

@thesaito2721 20 күн бұрын

動物のモフモフに鼻あててスーハースーハーして楽しむのはコモンセンスじゃないんやで…

@TakamiChie 20 күн бұрын

プリキュアだって猫吸いする時代なのに・・・

@tamarind_kingdom 20 күн бұрын

ベクトルの話伸びてて草水野さんが高校数学だけやってあれだけドンピシャな抽象化してたとしたら天才すぎて怖い

@kemukemu8080 20 күн бұрын

6:05 フラットアーサー水野　爆誕の瞬間

@user-nk6ff1nw7w 20 күн бұрын

『風俗の虫』の話の原因、性的な話だからAiが勝手にフィクションにしてる可能性もありそう(ChatGPTはよくやる)

@MMTT4567 20 күн бұрын

2:03 りょーさんのビックリ顔 6:05 水野さんのバッキバキ顔

@paaaaaaanda 20 күн бұрын

28:35 りょーさんがゲストにいるのに「リアル両さん」はだめでしょ笑笑

@togeyama4567 20 күн бұрын

りょーさんは風俗にも強いっていう概念

@akinaka7543 19 күн бұрын

りょーさんと両さんをTransformerが区別してくれるから、きっと大丈夫です

@jshxyxjens467 19 күн бұрын

目ェバッキバキ陰謀論者水野さんが好きすぎてそこだけヘビロテ確定

@alternative693 19 күн бұрын

りょーさん大規模言語モデル回が終わってもずっと左上にいてほしい

@ken_to_delicat 20 күн бұрын

28:30 りょーさん監修回でこち亀両さんを説明無く入れてて、りょーさん風俗通いになってる😂

@user-gd6jy8ms3z 20 күн бұрын

物理学が11次元でわけわからないのに、言語モデルの1000次元超えは、なんかええ感じに落ち着くのはしょうがないよね。

@tsicsafjapan9371 20 күн бұрын

17:50 我々が見ている二人はすでに何者かの手によって次元圧縮されている…

@maruneko35 20 күн бұрын

猫・吸引は猫吸い？

@kaz-jn7ro 20 күн бұрын

猫吸いかチュール

@user-nk6ff1nw7w 20 күн бұрын

42:18 ブラックボックスなのはーー

@lafit.9106 19 күн бұрын

りょーさんの素のキュートさが楽しめて最高でした💛次も楽しみです！

@CielP_Channel 20 күн бұрын

いい感じで面白かったです！！

@fobonu2ec 15 күн бұрын

堀元さんのベクトル理解、結局数ベクトルから逃れられて無いのにアップデートされた表現だと勘違いしてるの学部2年くらいのイキり理系大学生味が合って良い。なんなら水野さんの方が正しい理解。

@user-vj7bb7sy4x 20 күн бұрын

ベクトル空間：和とスカラー倍が定義されてる空間 →基底を導入してベクトルを基底の1次結合で表す(水野さんの理解) →基底をひと組固定して係数だけを並べることでベクトルを数字の組で「表現」する(堀本さんの理解) 今回は水野さんのまぐれ勝ち

@user-fj1ku8hw5b 20 күн бұрын

ルンバが掃除機よりペット寄りであることが値で見えるってことは非生物のアニマシー度合いが見えるようになりそうですね

@user-oy2nn5pc3l 20 күн бұрын

フラットアースで目バキになる流れでクッソ笑った

@umitz1729 20 күн бұрын

仕事で画像認識系の AI モデルを扱ってるんですが、「いい感じになる」の話のところ、すごい共感しました。ディープラーニングにおける誤差逆伝播やら畳み込み処理やらっていうのは、数式で見るとうまくいくことが理解できるんだけど、知らない人向けに分かりやすく説明しようとすると「いい感じになるとしか･･･」ってなりがちなんですよね。そして、泥臭い部分がむしろ本質っていうのも、首が取れるほど頷きました。学習や評価に使うデータ次第で結果が大きく左右されるから、そこを整形するのが結局一番大事だったりしますよね。（そしてこれがまた面倒くさいんだ･･･）

@hmtsite 20 күн бұрын

18:21 水野さんが話し始めた時堀本が体勢変えるのなんかいい

@user-eb8wn8gt9m 20 күн бұрын

三人とも仲良しだな

@user-ky1rh6my2c 20 күн бұрын

『プロモーション：Notion AI』が概要欄にチラ見えする中でことラボとシャープの掃除機ダイマするの勇気がありすぎる

@_tatibana1243 18 күн бұрын

いい感じにおもしろかったです

@TakamiChie 20 күн бұрын

0:14 コアラあらざるものですべてもっていかれた 12:42 猫×吸引が12出てるの、シャープの掃除機の話だけじゃなく猫吸いの話では？ 29:10 以前LISTENというポッドキャストプラットフォームの要約で、「野球の話は一切していないのに大谷さん(野球選手とは当然無関係の人)という人について言及しているから野球の話をしているエピソードとみなされてしまった」みたいな話題がありましたね。わたしはPCにそもそも疎い方をお話ししていることが多いので、ディープラーニングとは赤ちゃんにフラッシュ暗算をやらせるような行為、AIとはコンピューターになんとなくこれっていう直感を与える行為だと説明しています。意味を理解しているわけではないので常に正しい言葉を返してくれるとは限らないけど、あまりにもたくさんの事例を見ているのでなんとなくでそこそこ精度の高い情報をあげることができるというのがAIなのかなと。

@tt-vp3po 20 күн бұрын

11:15 ハリスかファースかどっちかって言われた時の堀元さんの嬉しそうな顔よ

@mudaso-heavy-user 20 күн бұрын

楽しみに待ってました

@Pepe-dn4od 20 күн бұрын

奇遇ですね、僕もです🌷

@tsicsafjapan9371 20 күн бұрын

たのまち

@tsuyuki007 20 күн бұрын

ぼくも！

@shomwoys 20 күн бұрын

「意味」というものは「単語という表現」に与えられるものではなく、コンテキストというフィルターによって確定する、ってのをちゃんとやった、ってことすね「空」がなにを「表す」かは、前に「青」が出ていれば「そら」である可能性が高く、「コップ」が出ていれば「から」である可能性が高く、「経典」であれば「くう」である可能性が高い逆に「青」が出た瞬間に、共起性の高い単語群…というか概念群の確率雲みたいなものがぼやーっとフィルターとしてかかっており、その中で「空」という文字列が出た瞬間に「マッチするのはそらだな」となるこれはある意味「次に来るものの先行予測」であり、予測をそのまま出力するのが「生成」になる「私は」のあとに何が続くかはコンテキストがなければ予測しづらいけど、「ゆる言語学ラジオです。私が」というフィルターをかければ、「パーソナリティ」「堀元」「水野」などが「次にきそうな確率の雲」として浮かび上がるすごい量だし確率もうっすいけど、ニューラルネットの「層」はこれを並列に一気に行列計算できる

@user-zh6zh4pf4c 20 күн бұрын

2:31 クッソ似てるwww

@tikuwa1226mg 19 күн бұрын

数字の組は直積集合の元のこと(順序対)のことであってベクトルのことではないですねベクトルは体(実数や複素数など)上で和とスカラー倍の操作が出来てベクトル空間の公理を満たす集合の元のことなので

@kamodomon0913 15 күн бұрын

「ベクトルとは複数の数字の組」ではなく「AIの話で使うベクトルとは複数の数字の組」ということですね。政略の話に出てくる「(腹に)いちもつ」と猥談の時に出てくる「いちもつ」で意味が違うのと同じですね！

@araiguma6184 11 күн бұрын

アナログど文系の私には、親近感が湧くシリーズです。専門家すら、なんかいい感じで纏めちゃって、人間がもはや解らないレベルが深層学習なんだー。と、そして意味を理解しようとする学者さんが居るのも面白いです。専門書は読めないけど、たまにchat GDP使うので裏側の仕組みをざっくり楽しく視聴しました。

@kuhlyuvuy7404 20 күн бұрын

犬も猫も吸うが？？？幸せな匂いを吸いまくってるが？？？

@早川眠人 20 күн бұрын

犬を飼うまで犬は臭いという認識だったが、今は幸せな匂いという感覚に共感できる。

@kuhlyuvuy7404 20 күн бұрын

@@早川眠人今家に生後3ヶ月の子と1歳の犬がいるんですけど、子犬、なぜか塩昆布の匂いがして1歳の方がいい匂して人間と真逆だなーと感じてます

@mudaso-heavy-user 20 күн бұрын

14:37 SHARPのエアコン掃除しながらここ聞いてた

@Astro-Study 20 күн бұрын

26:15 ChatGPTが人とヒトをうまいこと使い分けて話してくれるのはそういうことだったのか

@kt-ge6bw 20 күн бұрын

27:30 このメモ、中島敦の文字禍かと思ったら円城塔の文字渦ですね自分もよく間違いそうになるけどw

@hiroyukippp7380 19 күн бұрын

15:00 あたりの水野さん（地球平面論者）の言語化能力がすごい！

@United_sandglass 20 күн бұрын

喋るだけで面白いりょーさん

@tateren 20 күн бұрын

8:50 「これの何が嬉しいかというと」は理系方言という話を以前 X で見かけたのが印象に残ってたんだけど、言ってて嬉しくなっちゃった。（私もよく言う）

@ebangelist2 20 күн бұрын

水野さんそのままメガネ外した状態でゆる天の収録行って！今地球が丸いのが通説というか当たり前の事実ってのたまってるふたりがいるから！早く！

@keisukesugi5085 20 күн бұрын

水野さんが丸顔すぎて球体説加速する可能性ありますよ！

@knife-dp9le 20 күн бұрын

「ことらぼりょうさん」が居るのに、「こちかめりょうさん」の話しをするのは、今回の趣旨に合っているのだろう。

@user-ql8iu9ex3y 20 күн бұрын

水野さんと堀元さんを次元圧縮したのがりょーさん

@mathpromagy 20 күн бұрын

組成意味論での対義語の話は空間ベクトルなら点対称で行うか、面対称で行うかの違いと同じですね。

@rubin8972 20 күн бұрын

ブラックボックスを解析しようとする試みもあるんだ…… WIREDみたいなりょーさん待ってます！

@Uriel8I 20 күн бұрын

緯度経度を要素とする球座標系のベクトルの足し算は、半径を一定として簡単にすれば回転に対応して同じ領域内（球面上）で収まると直観的に思ったのですがどうなんでしょう？

@Mr-Naganegi 20 күн бұрын

矢印が地球の曲面に沿って曲がってて、それを繋げる演算って感じですかね？経度と緯度にこだわる場合は、緯度方向の平行移動によって矢印の大きさを変えないといけないので、これが「尺度」としてベクトルの第三成分になってしまうと思います(尺度は初期値座標に従属して緯度経度の双方に影響を与えるので2階テンソルと見ても良いかもしれません)。経度緯度にこだわらず、球面上の2方向(成す角が緯度により不変)であれば、複雑な仕掛け無しに接ベクトル空間として定義できそうです。

@user-zh3bg5ho2h 12 күн бұрын

水野さんと同じく文系で、ベクトル概念の解像度が水野さんと同じだった者です。 GPT-4が出たての頃、ゲンロンのチャンネルで元ドワンゴの清水亮が内部の仕組みについて解説してたけど、「ベクトルの外積をひたすら重ねがけし続けることによって、重みづけが変わる」みたいなところでチンプンカンプンになり挫折したんで、改めて手前から説明してもらえて助かりました。外積すら知らなかったので「外積するということは、つまりどういうことなんだろう」とばかり考えていたが、おれがまず考えるべきだったのはベクトルの定義だったのが気づけてよかった。これでもうちょいなんとかなりそう。

@Seiya_laugh 18 күн бұрын

16:11 水野さん、ねこも散歩が必要だと思ってることが判明

@girokazu1505 20 күн бұрын

6:23 初‼︎水野さんが動画上でしっかりとメガネを外した瞬間‼︎

@renk1310 19 күн бұрын

34:35 でも確かに、一口に「猫」と言っても、動物の猫を指してる時と、ぬいぐるみの猫を指してる時と、絵の猫を指してる時と、アニメとかに出てくるちょっと人間っぽい猫を指してる時とで扱いって微妙に変わるから、周りの単語から推測して、色々調整かけてるってことなのかな？絵画の猫と言ってもいろんなスタイルで描かれた猫があるし、猫のキャラクターだってリアルなものからほとんど人間みたいなのもあるわけで、それって全部ちょっとずつ意味合い変わってくるもんなぁ。動物の猫でも、ペット、野良猫、保護猫、家畜化、セレブの飾り物とか、色々な文脈で出てくるし、その全部でニュアンスを汲み取ってる感じなのかな……

@minsk-km8qg 20 күн бұрын

味付けの例えなのに調味料じゃなくて香辛料ばっかり使うの料理に対する認識の浅さが滲んでて好き

@yukizokin 19 күн бұрын

りょーさんの方が適任そうという意見に、明るく上段で返す堀元さん。上手いね。秩序って大事だからね。いろいろミスが合って一番重要なところを的確にやってる感じ。

@rose_miura 20 күн бұрын

博士号専門家「いい感じになります」

@user-wk9vi6bd1l 15 күн бұрын

難しすぎておまじないとして「いい感じ」に使っているのかと言うと、学習した結果「いい感じ」に収まるって事で機械としては本質を捉えたけど人間には理解出来てないって事なんだよねぇ。

@user-oe5qm8ty1g 20 күн бұрын

21:10 「大輪教授」っていう芸人さんのネタで構成要素を素因数分解して全然違うものが残るっていうのが大好きだったの思い出した

@hxhdiidid 18 күн бұрын

単語をノードとしたグラフを最適輸送で比較して、「日本語グラフの中の『リンゴ』という単語の位置」と「英語グラフの中の『Apple』という単語の位置」を比べることで言語間の単語の対応（≒翻訳）を行うっていう発表をしていた人が学会でいたな。単語ベクトルの話とかなり近そう。

@foxface120 19 күн бұрын

37:15 単語の解釈を文脈に最適化する処理だと理解した。水野さんの疑問は「対象の単語の本質を見失うなうのでは？」だと解釈した。人間も単語の定義を詳らかにしなくても（ベクトルを完全に固定しなくても）会話出来るので、人間を再現したAIとしては妥当な振る舞いに思う。

@user-ds6xh7bu6g 19 күн бұрын

いきなり「ベクトルは線形空間の元です」と言って線形空間の公理を教えた方が水野さんは理解できそうあと途中に出てきた次元圧縮は、適当な同値関係で割って、もとの線形空間を商集合と同一視することかな？

@US-wb8yp 20 күн бұрын

なお線形代数を学んだ大学生ならベクトルとはベクトル空間の元でありベクトル空間とは環R上の加群のうちRが体の場合の、、、とか話し始めるはず

@user-rb1es1xm1s 19 күн бұрын

数学科なので同じく体の元による左からの演算が上手く定義された加群…と説明したくなりますが、非数学科でも線形代数で数ベクトルでないベクトルを扱うのでしょうか？

@user-kl7hd2vv3e 19 күн бұрын

数学科だけやろ

@tikuwa1226mg 19 күн бұрын

まあ実ベクトル空間と一般のベクトル空間を混同してる節はあるよね

@user-ou8md6fm8o 20 күн бұрын

毎回面白過ぎて慕い過ぎの結果、二人のイケメンっぷりに見惚れてしまい、理解の邪魔になるいい感じの味付けで学習した結果でしょうね

@uwsc1 20 күн бұрын

Transformerは入力→エンコード→出力(デコード) だから、入力→出力というワンステップで考えると水野さんのような疑問が出てくるのかな？犬という単語ベクトルの初期値は入力段階ではどのような文章でも同じ値だけどエンコーダ部分を通すことで犬という単語とその文章中の他の全単語との関係性を計算して良い感じの値に更新するから出力部に渡す時には文章ごとに初期値の犬とは違う値になってる

@user-up9ig2to3y 19 күн бұрын

基底ベクトルの話を高校の話がどうって一蹴されてるのはちょっと

@user-md5uv7rq7m 18 күн бұрын

水野さんとりょーさんの声が似過ぎてPodcastでは混乱してこちらに

@pama251 20 күн бұрын

28:31 りょーさんゲスト会に風俗の話でリアルりょーさん（恐らく両津勘吉）って言うのはまずいでしょwww

@octaviforta 19 күн бұрын

だいぶ前の、ゆる言語学ラジオで「単語とは、意味のプール上に浮かんだウキのようなもの」という表現と同じですね。意味のプールの上の一点を指し示すベクトルが、単語

@user-ih4cw3dw3l 18 күн бұрын

周りの情報をベクトルに混ぜる、これは非12平均律の音楽等における旋律や和声の音高(音程)の取り決めでも似たことをしていると思います直前周辺の音高からの関係性が重要だったりします音律もAIを使えればさらに洗練させられるんだろうなと思いました

@yukkkeefukkkaa4375 20 күн бұрын

りょうさんと次元圧縮された水野さんとのラジオも少し見てみたい

@kenji_alternati 19 күн бұрын

水野さんが一般的に陰謀論と呼ばれているものを語ってる時の雰囲気ホント好き。

@WOOTHEFOUR 20 күн бұрын

ベクトルはラテン語のvehere運ぶ由来なので向きと量が本質であって、数字の組があればベクトル空間で分析ができるようになるというはなしでは…（迂闊なこと書かない方がいいかな…

@user-uw6fu8lg9c 20 күн бұрын

りょーさんへの直接の質問を妨害する堀元さん、あちこちにいる謎の仲介業者みたいで好き

@meikai3316 Күн бұрын

12:10 文章にするとやってる事エグくて笑いながら恐怖🫨

@wtb401 20 күн бұрын

ベクトルについて、間違った理解の堀元さんが、正しい理解の水野さんを誤った方向に正していて、悲しいですね

@lonestar930 19 күн бұрын

自分を形作るのは外界との境界みたいなアイデンティティの考え方があるけど、単語を形成するのも周りの単語であるってことだな。その単語そのものの分析を深めてもナンセンスな感じがよい。

@術中hack 20 күн бұрын

味付けのたとえのせいで正確性が影響を受けるくだり、ゆる学習学ラジオのドヒャー型ストラテジーを思い出した。

@fullma5 20 күн бұрын

ニューラルネットワークってボウリングのストライクの点数計算みたいになってるのね

@user-ld4je6vb5e 20 күн бұрын

正しいラベル付けとか、イレギュラー因子へ追加ラベルするとか、学習結果への正誤判定みたいな途方もない作業だろうね

@highjumptaka 20 күн бұрын

神経回路を真似してみたら何故かはよく分からないけど「いい感じ」の出力が出たので活用している、というのがニューラルネットワークという理解でいいですか？

@yumeginamiki6721 20 күн бұрын

41:00　私は「数独パズルを解いてるみたいだなあ」という印象を受けました。確定でこれだという数字は入れられないけれど、仮置きでこのへんの数字が入りそうという予想メモだけ残しておく。という処理を頭からお尻までまずやる。そのあと、前回の予想メモを参照しながら仮置きの数字を置く処理をもう一度頭からお尻まで行なうと、予想メモの精度が上がる。予想メモの精度を上げ続けると、突如ある地点で数字が確定する。ある地点の数字が確定すると連鎖的に次の地点の数字も確定する。単語ベクトルも仮置きの予想メモの精度を高めると、ある段階で突如『確定する手掛かり』が見つかったりするのかな？

@spacelike4724 20 күн бұрын

>「コップ」が出たら「から」、「青い」が出たら「そら」「この青いコップは空です」「このコップの青は空です（空の色）」

@shal1457 20 күн бұрын

人間を指して小規模言語モデルって言うのおもしろいw

@TAKOYAGl 20 күн бұрын

ニューラルネットワークの説明は3 brown 1 blueの動画見た方がアニメあるから分かりそう

@kazukiyoshida9821 18 күн бұрын

文脈化単語埋め込みについて　空（そら）と空（くう）が同じラベルの別の単語として登録されていて、ラベルだけではどちらか分からないために、わざわざ総当たりを行って、隣接する単語と関連性が高い方を選択しているという認識でいいのだろうか。別の漢字を当てていればこんな苦労はしなかったのに。（漢文における「君」とかどう処理しているのだろうか。）　そのような単語は、明瞭な単語に比べて計算量が単純に倍増するため、もし、AIがエネルギー事情をわきまえるようになったら、こういった単語を淘汰するかもしれない。その場合は煩わしい単語の多義性を駆逐するようになるため、詩的な文章をスクリーン上へ送り出す機会が減るのかもしれない。逆に考えると、人間は言語の煩わしさによって脳のエネルギーレベルが上がっているのかもしれない。（と思ったが、ミクロとマクロでエネルギー効率の逆転が起きそうな気がする。）

@user-eq7xr8fy2t 20 күн бұрын

SNSでよくみるキャラクターの分布も単語ベクトルなんだなぁ

@katzekatze7519 6 күн бұрын

ゆるコンピュータ科学、つまみ食いをする度にプリンとか右脳左脳とか味つけとか、わからない例えが出てきて草

@graph23 20 күн бұрын

Bitter Lesson か。むかし、カナダの国会の議事録（英語、フランス語両方で記述）をベースにした翻訳の事例（議事録上の単語を統計的に見ているだけで、辞書も文の構文解析にしていないのにうまい翻訳ができた）を聞いた後は、翻訳ソフト開発者の言で「あとは、辞書の整備ができれば、人間の通訳と同等となります」は、「やっぱりねぇ」と思った。