orange @[email protected]

それこそ「悔しがってる」を機能的感情あるいは感情であると解釈するのであればそうなる＞＜

オレンジのスクショでチクショー的な英語表現が右に表示されてて、それに対応する思考をした部分が左に同じ色で表されてたでしょ？＞＜　それのこと＞＜

未知語は、辞書にない応答はどうすればいいのかという話＞＜
最小のモデルで言うならば、「おはよう」には「おはよう」、「ありがとう」には「どういたしまして」と返せと言う辞書があったとして、「ぽぺぽぺぽ」にはどう返すのか？＞＜
少なくとも「辞書を見て対応する言葉を返せ」という単純なルールでは辞書にない言葉には当然ながら応答が出来ない＞＜

ここは説明は難しいけど、たとえばオレンジも再現した実験でも見られるように、単に言葉に応答するだけであれば、リンゴを思い浮かべたことに悔しがる必要はない＞＜

この未知語は、中国語の部屋の単純バージョン(考えたジョン・サールのものではなく巷で語られてるバージョン)でも問題になり、たとえば中国語の部屋に、中国語のようでそうではない創作した言葉を投げ掛けたらどうなるのか考えればよい＞＜
ちなみにサールはその問題に気づいていて、実際には中の人も少し思考するというバージョンをとってるらしい＞＜

むしろそれがない(少なくともある程度大きい)LLMが無いから＞＜
これは「なぜLLMは未知語に反応できるのか？」という点にも関係があって、少なくとも未知語への対応には違和感(サプライザル)を測るような評価機構が必要になる＞＜
もし、仮にLLMがあらゆる面で一切思考せずに本当に単純な意味で単語の続きを探しているだけであれば、未知語に続きなど無いのであるから、たとえば「聞いたことがない言葉です」のような応答はできない＞＜

コウモリも鳥でも昆虫でもないのに飛べるね＞＜

『思考』と言えるのかという言葉の哲学的側面で言えば、「潜水艦は泳げるか？」という有名な言葉があり、さっきのニュースでAIに仕事くれといわれたお兄さんは(ある種の反論的に)、「鳥、昆虫、飛行機はそれぞれ『飛べる』か？」という愉快な論文を書いてる＞＜

『思考』の途中に介入して『思考』を誘導できるのであれば、それは、その領域で『思考』しているのだろうと言えるかも＞＜

このJacobian Lensは何かというと、人間の脳が意識を作り出す仕組みの理論(仮説)のうちのひとつにグローバルワークスペース理論(GWT)というものがあって、それで言うグローバルワークスペースに相当する構造をAIの中に探して、発見したそれをモニタする＆改変も出来る実験環境＞＜
この領域を無効化するとLLMは会話はできるけど論理的思考は出来ないという奇妙な挙動になる＞＜
つまりLLMはこの領域で『思考』しているのであろうと言える感じ＞＜

単語をクリックするとどういう風にその言葉を選択したのかわかる感じのシステムがそのデモページ＞＜

“隕石大国”ニッポン!宇宙からの恵みをひもとけ! | サイエンスZERO | NHK https://www.web.nhk/tv/an/zero/pl/series-tep-XK5VKV7V98/ep/RAPXG39X4J

隕石で発見された夢の磁性材料 — SPring-8 Web Site https://spring8.jp/archive/ja/news_publications/research_highlights/no_51/