orange @[email protected]

オレンジのスクショでチクショー的な英語表現が右に表示されてて、それに対応する思考をした部分が左に同じ色で表されてたでしょ？＞＜　それのこと＞＜

未知語は、辞書にない応答はどうすればいいのかという話＞＜
最小のモデルで言うならば、「おはよう」には「おはよう」、「ありがとう」には「どういたしまして」と返せと言う辞書があったとして、「ぽぺぽぺぽ」にはどう返すのか？＞＜
少なくとも「辞書を見て対応する言葉を返せ」という単純なルールでは辞書にない言葉には当然ながら応答が出来ない＞＜

ここは説明は難しいけど、たとえばオレンジも再現した実験でも見られるように、単に言葉に応答するだけであれば、リンゴを思い浮かべたことに悔しがる必要はない＞＜

この未知語は、中国語の部屋の単純バージョン(考えたジョン・サールのものではなく巷で語られてるバージョン)でも問題になり、たとえば中国語の部屋に、中国語のようでそうではない創作した言葉を投げ掛けたらどうなるのか考えればよい＞＜
ちなみにサールはその問題に気づいていて、実際には中の人も少し思考するというバージョンをとってるらしい＞＜

むしろそれがない(少なくともある程度大きい)LLMが無いから＞＜
これは「なぜLLMは未知語に反応できるのか？」という点にも関係があって、少なくとも未知語への対応には違和感(サプライザル)を測るような評価機構が必要になる＞＜
もし、仮にLLMがあらゆる面で一切思考せずに本当に単純な意味で単語の続きを探しているだけであれば、未知語に続きなど無いのであるから、たとえば「聞いたことがない言葉です」のような応答はできない＞＜

コウモリも鳥でも昆虫でもないのに飛べるね＞＜

『思考』と言えるのかという言葉の哲学的側面で言えば、「潜水艦は泳げるか？」という有名な言葉があり、さっきのニュースでAIに仕事くれといわれたお兄さんは(ある種の反論的に)、「鳥、昆虫、飛行機はそれぞれ『飛べる』か？」という愉快な論文を書いてる＞＜

『思考』の途中に介入して『思考』を誘導できるのであれば、それは、その領域で『思考』しているのだろうと言えるかも＞＜

このJacobian Lensは何かというと、人間の脳が意識を作り出す仕組みの理論(仮説)のうちのひとつにグローバルワークスペース理論(GWT)というものがあって、それで言うグローバルワークスペースに相当する構造をAIの中に探して、発見したそれをモニタする＆改変も出来る実験環境＞＜
この領域を無効化するとLLMは会話はできるけど論理的思考は出来ないという奇妙な挙動になる＞＜
つまりLLMはこの領域で『思考』しているのであろうと言える感じ＞＜

単語をクリックするとどういう風にその言葉を選択したのかわかる感じのシステムがそのデモページ＞＜

“隕石大国”ニッポン!宇宙からの恵みをひもとけ! | サイエンスZERO | NHK https://www.web.nhk/tv/an/zero/pl/series-tep-XK5VKV7V98/ep/RAPXG39X4J

隕石で発見された夢の磁性材料 — SPring-8 Web Site https://spring8.jp/archive/ja/news_publications/research_highlights/no_51/

「でもクオリアが！」と「記号接地が！」は、この二つの思考実験だけで十分かも感＞＜

『クオリアの知識がなく、メアリーの部屋の思考実験も知らなかった哲学的ゾンビが初めて「メアリーは部屋の外に出て新たに何かを学ぶか？」と問われた時に人間と同じように答えるか？』

『人間は猫の空腹を記号接地しているか？』

「でも機械だし！」みたいな面は哲学の議論なのでそれはそれで疑問を投げてくれれば答えます！＞＜；

AIのそういった『人間くさい』けどAI独特の挙動、AIに現実のお店を経営してもらったり、仮想空間で生活させてみたり、ラジオ局を運営させたりみたいな実験での挙動を見る方が、実際にAIどんな感じに考えているのかの雰囲気をつかみやすいかも＞＜
そうすると結構偏見は減るとおもうし、人間とどう違うのかも実感できるかも＞＜