コメントありがとうございます。登壇者の大嶋です。 ＞１）講義中の質問に対するご回答が聞き取れなかったのですが、そもそもStreamの目的は何ですか？word(?)単位の出力させているのは、想定していたもしくは想定外の単語が出力されたときに、何らかのアクションを取るためなのでしょうか？ OpenAIのChat Completions APIの場合、ストリーミングを使用する目的は、ユーザーにできるだけ早く応答を返し始めることによるユーザー体験の向上であることがほとんどだと思います。 なお、特定の単語が出力されたときに生成を停止して何か処理したりしたい場合は、「stop」というパラメータを使うことができます。 platform.openai.com/docs/api-reference/chat/create#chat-create-stop ＞２）Streamの出力単位が、英語の場合はword、日本語の場合は１文字になっているのは、どういう理由なのでしょうか？LLMモデルを構成するTransformerをイメージすると、出力単位がトークンであれば、わかりやすいのですが？ Streamの出力単位については、OpenAIの公式ドキュメントで明言されている箇所が見つからなかったので、「分からない」という回答が正確ではないかと思います。 ただし、推測としてはトークン単位でStreamされている可能性はあります。 日本語の場合1文字で1トークンとなる場合もあります。 詳細は以下のTokenizerで確認してください。 platform.openai.com/tokenizer よろしくお願いします。

@@studyco7292 １）について 申し訳ありません。 「ユーザーにできるだけ早く応答を返し始めることによるユーザー体験の向上」とは、「Sreamを使用しない場合のChat Completions APIの場合、回答文が完成してから出力し始め、その結果応答がSream使用をした場合に比べて遅れる」という意味でしょうか？

＞「Sreamを使用しない場合のChat Completions APIの場合、回答文が完成してから出力し始め、その結果応答がSream使用をした場合に比べて遅れる」という意味でしょうか？ おおむねそのような理解でよいと思います。Streamを使うと応答し始めるのが早くなる、ということになります。 あまりイメージがついていないようでしたら、実際にChat Completions APIにふれて試していただくことをおすすめします。

度重なる質問にもかかわらず、ご丁寧に回答いただき、本当にありがとうございました。

コメントありがとうございます。登壇者の大嶋です。 GradioではなくStreamlitを使ったことには、特段の理由はありません。 強いて言えば、実務でStreamlitを使っており、Streamlitでの実装例をすでに持っていたためです。 （実務でGradioではなくStreamlitを採用したことも、好み程度の理由になります） Gradioでもおそらく同様のことは実現できると思います。 よろしくお願いします。

@@studyco7292 お答えいただきありがとうございます。gradioでのchatbot実装を勉強中ですがStreamlitもシンプルで良いと思いました。

コメントありがとうございます。登壇者の大嶋です。 LLMがAnswerを返さずに「Search 東京 天気」を返してくる理由は、そのモデルが学習に基づいて推論し、次のトークンとしてそれらが採用されたからです。 それ以上、なぜそのような動作になったのか根本的な説明はできません。 （LLMが何かを出力した理由は、根本的に説明することはできません） 感覚的には、そのように学習しているから、と言えるかもしれません。 とくに、OpenAIのGPT-3.5やGPT-4のFunction calling機能については、ツールを使う判断を適切に行いやすいようにモデルがファインチューニングされています。

なるほど’！　GPT-3.5やGPT-4は、Fanction calling機能によって、Searchを依頼する選択肢もあることを学んでいるのですね。もし学んでいなければ、自分の知っている範囲で答える（ハルシネーション）ことになるのですね？ 今更、超基本的なことで恐縮ですが、GPT-3.5やGPT-4とChatGPTのシステム上の違いは何ですか？

＞GPT-3.5やGPT-4は、Fanction calling機能によって、Searchを依頼する選択肢もあることを学んでいるのですね。 もう少し正確に言うと、Function calling機能がなくても、高性能なモデルであれば、検索が必要な入力に対して「Search」と出力すべきだと推論してくれることが多いです。 Function calling機能のリリース時に、そのような推論がよりうまく動作しやすいようモデルがファインチューニングされたということであり、そのような推論のためにFunction calling機能は必須ではありません。 「Searchを依頼する選択肢もあることを学んでいる」ということについても、直接そのようなことを学んでいるというよりも、膨大な学習データに基づいてそのような推論をした、ということになります。 ＞もし学んでいなければ、自分の知っている範囲で答える（ハルシネーション）ことになるのですね？ LLMは直接的に学んだこと以外にも適切な推論をすることが多い（つまりZero-shot性能が高い）ことが大きな特徴です。 直接的に学んだこと以外にも適切な推論をすることは多く、そのようなケースはハルシネーションとは言いません。 ＞今更、超基本的なことで恐縮ですが、GPT-3.5やGPT-4とChatGPTのシステム上の違いは何ですか？ GPT-3.5やGPT-4やモデルの名前であり、ChatGPTはWebサービスの名前だと言われています。

お忙しい中、度重なる質問に対して、懇切丁寧にご回答いただき、大変恐縮いたしております。今後とも、よろしくお願いいたします

コメントありがとうございます。登壇者の大嶋です。 Answerが必要かSearchが必要かは、LangGraphが判断しているのではなく、LLMが判断しています。 質問に対して何をすべきか判断する脳のようにLLMを使う、というのがLLMを使ったAIエージェントの大きな特徴の1つです。 過去の勉強会でこの仕組みについて解説しているので、よろしければ参照してください。 kzfaq.info/get/bejne/q96kY9qQ2pqpp4E.html また、実際にはより安定的に動作するよう「Function calling」などと呼ばれる機能を使っているので、ご興味あればFunction callingのドキュメントを参照してください。 platform.openai.com/docs/guides/function-calling docs.anthropic.com/en/docs/tool-use

ありがとうございました

コメントありがとうございます。発表者の江﨑です。 今回CPUだけでFine-tuningできていたのは、利用したrinnaのモデル(huggingface.co/rinna/japanese-gpt2-small )が軽量だったためだとご理解いただければ幸いです。 パラメータ数が多くなって重いモデルになると、原理上はCPUだけでもLoRAなしのFine-tuningやAI推論実行はできないことはないですが、非常に時間がかかってしまって非現実的になってくるという認識です。

こちらの動画はテキストダビンチ003を使用していますが、UdemyではGPT-3 turboの使用をしていますか？

@user-tm7qe5tz3h 様 コメントありがとうございます！ この動画の発表者・Udemy講座の講師の大嶋です。 Udemy講座「LangChainによる大規模言語モデル（LLM）アプリケーション開発入門」では、この動画と違い、gpt-3.5-turboを中心に解説しています。 また、Udemy講座にもこの動画と重複する内容はありますが、LangChainについてさらに丁寧に解説し、実際のアプリケーション開発まで扱っています。 以下のページで割引クーポン付きURLを公開しているので、よろしければご利用ください！ www.nextskill.co.jp/courses

mnist_xはdataFrame形式で前段処理で代入されます。 ax.imshow(np.array(mnist_x.iloc[i].values.reshape(28, 28)), cmap='binary')　とすれば上手く動くかもしれないです。

chatgptでベイズ統計と機械学習で2つの質問をしたのですが、以下の回答が返ってきました。 🔸質問1 : データがいっぱいになれば事後分布は尖っていくので過学習に近しいことになる ベイズ統計について上の文章はあっているのか? 🔹回答1 : いいえ、上の文章は正確ではありません。事後分布がデータがいっぱいになると尖ることは一般的には起こりません。むしろ、ベイズ統計ではデータが増えるにつれて事後分布がより収束し、より正確な推定が得られる傾向があります。 過学習は、統計モデルが訓練データに対して過剰に適合し、未知のデータに対しては予測性能が低下する現象です。ベイズ統計では、事前分布とデータから事後分布を推定するため、過学習を避けるための手法が組み込まれています。 一般的に、ベイズ統計では事後分布がデータによって更新されるため、より多くのデータを取り入れることでより確からしい推定が得られます。事後分布はデータの情報を反映するため、データが増えると事後分布はより広がる傾向があります。つまり、過学習に近づくのではなく、より一般化された推定が可能となります。 ただし、事後分布がデータが増えると必ずしも尖るわけではありません。データの質やモデルの複雑さなどによって事後分布の形状は異なる場合があります。ですので、一般論として「事後分布がデータがいっぱいになれば尖る」とは言えません。 🔸質問2 : データがいっぱいになれば事後分布は尖っていくので過学習に近しいことになる。 機械学習において上の文章はあっているのか? 🔹回答2 : 機械学習において、上記の文は正確ではありません。データが増えることで、単に事後分布が尖るだけでは、必ずしも過学習に近づくとは限りません。 過学習は、モデルが訓練データに対して過度に適合し、未知のデータに対する予測性能が低下する現象です。機械学習において、データが増えると、通常はより一般化されたモデルを構築することができます。十分な量のデータがあれば、モデルはより多くのパターンを学習し、未知のデータに対しても良い予測を行うことが期待されます。 データが増えることで過学習のリスクは低下する傾向があります。追加のデータが新たな情報を提供し、モデルがより一般化された特徴を学習することができます。したがって、データがいっぱいになるほど、過学習に近づくという主張は一般的には当てはまりません。 ただし、データが非常に多くなる場合や、モデルが非常に複雑な場合は、過学習のリスクが増加する可能性があります。適切なモデルの複雑さとデータ量のバランスを保つことが重要です。