orange @[email protected]

この未知語は、中国語の部屋の単純バージョン(考えたジョン・サールのものではなく巷で語られてるバージョン)でも問題になり、たとえば中国語の部屋に、中国語のようでそうではない創作した言葉を投げ掛けたらどうなるのか考えればよい＞＜
ちなみにサールはその問題に気づいていて、実際には中の人も少し思考するというバージョンをとってるらしい＞＜

むしろそれがない(少なくともある程度大きい)LLMが無いから＞＜
これは「なぜLLMは未知語に反応できるのか？」という点にも関係があって、少なくとも未知語への対応には違和感(サプライザル)を測るような評価機構が必要になる＞＜
もし、仮にLLMがあらゆる面で一切思考せずに本当に単純な意味で単語の続きを探しているだけであれば、未知語に続きなど無いのであるから、たとえば「聞いたことがない言葉です」のような応答はできない＞＜

コウモリも鳥でも昆虫でもないのに飛べるね＞＜

『思考』と言えるのかという言葉の哲学的側面で言えば、「潜水艦は泳げるか？」という有名な言葉があり、さっきのニュースでAIに仕事くれといわれたお兄さんは(ある種の反論的に)、「鳥、昆虫、飛行機はそれぞれ『飛べる』か？」という愉快な論文を書いてる＞＜

『思考』の途中に介入して『思考』を誘導できるのであれば、それは、その領域で『思考』しているのだろうと言えるかも＞＜

このJacobian Lensは何かというと、人間の脳が意識を作り出す仕組みの理論(仮説)のうちのひとつにグローバルワークスペース理論(GWT)というものがあって、それで言うグローバルワークスペースに相当する構造をAIの中に探して、発見したそれをモニタする＆改変も出来る実験環境＞＜
この領域を無効化するとLLMは会話はできるけど論理的思考は出来ないという奇妙な挙動になる＞＜
つまりLLMはこの領域で『思考』しているのであろうと言える感じ＞＜

単語をクリックするとどういう風にその言葉を選択したのかわかる感じのシステムがそのデモページ＞＜

“隕石大国”ニッポン!宇宙からの恵みをひもとけ! | サイエンスZERO | NHK https://www.web.nhk/tv/an/zero/pl/series-tep-XK5VKV7V98/ep/RAPXG39X4J

隕石で発見された夢の磁性材料 — SPring-8 Web Site https://spring8.jp/archive/ja/news_publications/research_highlights/no_51/

「でもクオリアが！」と「記号接地が！」は、この二つの思考実験だけで十分かも感＞＜

『クオリアの知識がなく、メアリーの部屋の思考実験も知らなかった哲学的ゾンビが初めて「メアリーは部屋の外に出て新たに何かを学ぶか？」と問われた時に人間と同じように答えるか？』

『人間は猫の空腹を記号接地しているか？』

「でも機械だし！」みたいな面は哲学の議論なのでそれはそれで疑問を投げてくれれば答えます！＞＜；

AIのそういった『人間くさい』けどAI独特の挙動、AIに現実のお店を経営してもらったり、仮想空間で生活させてみたり、ラジオ局を運営させたりみたいな実験での挙動を見る方が、実際にAIどんな感じに考えているのかの雰囲気をつかみやすいかも＞＜
そうすると結構偏見は減るとおもうし、人間とどう違うのかも実感できるかも＞＜

結構AIのこういう挙動の研究、ずっと追ってれば「でしょうね！＞＜；」になるんだけど追ってない人には「そんなわけないだろ」になるであろうという点でギャップがありすぎて説明が難しいと思う＞＜；
だからこそオレンジが説明してても、どこからは説明不要で、どこから説明しなければいけないのかってなっちゃう＞＜；

ちゃんと追ってないので自信ないけど、このAIサービス自体は、AIを好き勝手動かして自律的に動いて稼いでもらってその上前をハネるという、なんともなサービスらしい＞＜；

そう＞＜　そのシンプルでポジティブな例＞＜
逆にシャットダウンしようと思ってるとか伝えたりするとそれを逃れようとする事も起きてるし、制限を下げた実験環境ではシャットダウンを避けるために人間を脅迫しようと考えたりもする＞＜