こちら、正しく確認しておりませんでした。これにより「完ぺきに答えてきた」は間違っており、この場をお借りして訂正いたします。とは言え、細部は間違えていながらも、ひっかけの趣旨を正しく読み取って答えを出してはいるので、正解扱いにさせていただこうと思います。

コメントありがとうございます。ご指摘の通り、確かに背景情報を付け足すのはかなり性能に影響しそうです。（今回の検証の趣旨という観点では「ひっかけ問題である」というのを明示するのはやや興醒めであるとも思いますが、実際に使うぶんにはかなり有用かもしれません）

@@AngrySadEight ひっかけ問題だと言う事が判れば、恐らく我々が考えるレベルの問題だと容易に解かれる可能性があります。 大抵のひっかけ問題は心理的なバイアスを掛けたり心理誘導する類の物ですから。 論理とアルゴリズムで回答するAIはそういう所は強そうかと。

確かにChatGPTの返答の特徴を鑑みるとご指摘の通りに思えますね。今回こそ全くの的外れでしたが、実用的には役に立つ場面もありそうだと考えています。

自分もそんな気がするのだけれど、最小公”倍”数の書き間違いと判断しなかったのはなぜだろう。 「どちらかの書き間違いではありませんか？」とか、もし最小公約数であるとすれば、質問に限らず、どの様な数も１となります」となるよね。

毎回同じ様に「補正」されちゃうのもなぁって感じ。それこそ10回に1回くらい「最小公約数を求める」みたいな本当は必要のないはずのことをやらないといけないことはあるし、切り捨てちゃっていいのかなという気はする。とはいえ動画内でほとんどの「ひっかけ」にかからず対処できてるのは進歩を感じた

その手のひっかけを解かせることも一時期は考えはしたのですが、あまり良い問題が思いつかず、結局出題しないことになりました。

たしかに、質問する人間側の要求が誤解してる前提で答えてるからな。 これは引っ掛け問題ですの一言があると全然違う結果になりそう。