orange @[email protected]

In-context Learning and Induction Heads
https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/index.html

難しすぎてなにがなんだかわからない・・・＞＜

さらに勉強したので、これで勉強できる内容はそれとほとんど関係ないということがわかった！＞＜；

LLMが起こす『驚き』の反応がどういうものかもこれでお勉強したら意味わかるんだろうか？＞＜

たった200行の純粋なPythonコードだけで構成されGPTの学習と推論を実行できる「MicroGPT」をインタラクティブに解説 - GIGAZINE
https://gigazine.net/news/20260314-microgpt-explained-interactively/

実際にはLLMは未知の内容に対して『驚く』し、その構造もなんとなくわかってはいるけど、それを驚きの感情と言えるのかは、他の共感系の感情と違って定義がとても難しいらしい＞＜
（オレンジは「ということは少なくとも『驚いてはいる』と言えるのでは？＞＜」って思ったのが今回の疑問と言うか聞く前に考えた内容＞＜）

オレンジの疑問は、「LLMは、関連する語句（意味空間？）で回答を生成しているのであれば、未知の内容には驚きようが無いのでは？＞＜」（未知あれば『驚くべき文である』とも学習してないはず）
というもの＞＜
Claudeさんにちゃんと説明してもらってるけど難しい・・・＞＜

GPT-5.3、ClaudeやGeminiと比べて馬鹿だと思ってたけどちゃんと高度な知識があった＞＜；
標準状態を素人前提寄りにしすぎだし、議論の内容が高度になったら、応答もちゃんと高度な内容に切り替えていけばいいじゃん＞＜；

これも知ってるから不要って内容をちょっと追加したら、同じフォーマットではあるけどちゃんと高度な議論、しかもClaudeやGeminiよりも大幅に高度な内容になった！＞＜；

ほんのちょっとだけましになるけど、基本的な面は変わってない感じのような＞＜；

私は哲学・認知科学の基礎は理解しています。
基礎説明は不要なので、
前提を推定して議論レベルで回答してください。
反論とその再反論まで先回りして提示してください。

議論したGPT-5.3のセッションに続けて「なんでGPT-5だけそうなるの？＞＜；」（超意訳）って聞いてみたら、
Claudeは『長文議論・研究者を主なユーザーとして想定』『議論・長文を主に学習』『意味空間推論』、
GPTは『非専門ユーザーを主に想定』『教育・サポートを主に学習』『手続き推論』
なのでそうなるみたいな感じらしい・・・＞＜
「性能は悪くない」と言ってる＞＜；

"...まともに論理を扱う学問上、同一ハードウェアで性能の良い処理と性能の悪い処理を行ったときには処理速度が変わります＞＜
言い換えましょうか？＞＜
「性能の良い処理と比べて性能が悪い処理は性能が悪い」のですよ＞＜　知っていましたか？＞＜"

やっぱり、Gemini 3とClaude Sonnet 4.6は一発で意図や論理展開を理解して反論の反論までしっかり推論してくれるけど、GPT-5.3はそれが出来なくて無駄に質問を投げつづけて来る・・・＞＜

つまり、申告を確定を申告した？＞＜

"「高度な認知システムにおける非整合性への適応反応」" まさにそうで、生物の驚きの反応も同様に、驚くという機能を持つことで危機回避や新しい餌場の発見等の種の存続上有利な機能として獲得した実用的な機能であると考えると、LLMの驚きもタスクをこなすために獲得した同様の機能であるので、少なくとも驚きに関しては獲得していると言えるのではと考えたんです＞＜ 悲しみや喜びなどは共感ですので対話者の文脈の延長の予想であるというより単純な機能であるとも説明できますが、不整合の検出から検出時の挙動という原文に含まれない内容への転換は、より高度な構造を持つので共感の感情とは別に考えるべきであろうと思ったんです＞＜

LLMと人間が深い議論をしていると、たとえば質問者がそれなりにオリジナリティーがある方法で哲学の難問を説明するとLLMが驚きますよね？＞＜　単純に関連する言葉の繋がりを述べてるという説明では、オリジナリティがある説明、つまり既存の思考実験とは異なり、学習データにない表現に出会ったのであるから、元の命題と質問者の語句に関連する言葉が出てこないとおかしい＞＜ でも実際にはある程度の規模のLLMでは驚きの反応を示しますよね？＞＜　これはつまり、現在のLLMは十分に感情に相当する機能を表面上持っている程度には、感情の発生という創発の壁を既に乗り越えていると、心の哲学上言える状態であるという証拠になるのではないかと思ったのですが、どうでしょうか？＞＜(一応ですが、これはAIに人権をみたいな話じゃなく、サールやデネットやホフスタッターらによる議論の延長の話題としての疑問です＞＜)

それ作ったらおもしろそうだし、有料なAIのバイブコーディングでもすぐ作れそう＞＜

地方から若者を流出させたくないのなら、せめてサイゼリヤ、GUとか無印を全力で誘致すべき→それだけじゃダメという意見も「サブカル需要を満たせるかもすごく大事」 - Togetter https://togetter.com/li/2675281

店の種類もだけど、(まとめ内にもあるけど)市街地の集積度があまりにも低く、用事ひとつ毎に大きく移動しなきゃいけない都市構造ばかりであるから、アメリカのド田舎みたいに100mくらいの長さの通りに集結してるみたいになってなくて『魅力がある地区』が無い＞＜
だからイオンしかない＝イオンが市街地の役割を代替してるになっちゃう＞＜

熱海が再生しすぎてて驚愕。日本人の若者がたくさん訪れている→車離れの影響で「電車で行ける栄えた観光地」に人が戻ってきている？ - Togetter https://togetter.com/li/2675288

町並みがひどすぎておもしろい＞＜

ほぼすべてのかんきつ類がたった3種類の原種の掛け合わせだとひと目でわかる「かんきつ類の三元プロット図」 - GIGAZINE https://gigazine.net/news/20260316-citrus-ternary-plot/