新しいものを表示
nezuko_2000 さんがブースト

むしろそれがない(少なくともある程度大きい)LLMが無いから><
これは「なぜLLMは未知語に反応できるのか?」という点にも関係があって、少なくとも未知語への対応には違和感(サプライザル)を測るような評価機構が必要になる><
もし、仮にLLMがあらゆる面で一切思考せずに本当に単純な意味で単語の続きを探しているだけであれば、未知語に続きなど無いのであるから、たとえば「聞いたことがない言葉です」のような応答はできない><

(あと、これが機能感情とどう繋がるのかがわからない)

スレッドを表示

櫻星CQ
minkara.carview.co.jp/userid/8

中華製EVミニカーを漁っていたらネット上に情報皆無の謎車が出てきた
なにこれ?CQモーターズ Uのパチモン?

(そこで何故、全てのLLMにJ-spaceが存在すると一般化して断言できるのかが未だに謎)

nezuko_2000 さんがブースト

コウモリも鳥でも昆虫でもないのに飛べるね><

nezuko_2000 さんがブースト

『思考』と言えるのかという言葉の哲学的側面で言えば、「潜水艦は泳げるか?」という有名な言葉があり、さっきのニュースでAIに仕事くれといわれたお兄さんは(ある種の反論的に)、「鳥、昆虫、飛行機はそれぞれ『飛べる』か?」という愉快な論文を書いてる><

nezuko_2000 さんがブースト

『思考』の途中に介入して『思考』を誘導できるのであれば、それは、その領域で『思考』しているのだろうと言えるかも><

nezuko_2000 さんがブースト

このJacobian Lensは何かというと、人間の脳が意識を作り出す仕組みの理論(仮説)のうちのひとつにグローバルワークスペース理論(GWT)というものがあって、それで言うグローバルワークスペースに相当する構造をAIの中に探して、発見したそれをモニタする&改変も出来る実験環境><
この領域を無効化するとLLMは会話はできるけど論理的思考は出来ないという奇妙な挙動になる><
つまりLLMはこの領域で『思考』しているのであろうと言える感じ><

それはちゃんと見た上で
「へぇ~、こいつちゃんと連想ゲームで回答選んでら」
というのはわかった

それ以外の途中で回答を入れ替えるやつが「そらそうなるだろ」としか思えなくて、何がすごいのかさっぱり

nezuko_2000 さんがブースト

単語をクリックするとどういう風にその言葉を選択したのかわかる感じのシステムがそのデモページ><

同じことをChatGPT(GPT-6)にやったら、こちらの実験意図を理解したみたいで回答を合わせてきた

スレッドを表示

例の「思い浮かべないでください」実験をやってみた
禁止ワードから連想される回答をちゃんと出力していて面白かった

ただ、これ以外の実験は前提知識がなさ過ぎてやってもいまいちピンと来なかった
今のワイにはこの実験に何の意義があるのか理解できない(Anthropicのレポートも読んだが何が何だかさっぱりわからん)

そして、この実験に使用したモデルが人間に近しい認知機能の一部が備わっていると証明されただけで、全てのLLMがそれを備えている直接証明にはやっぱりならなくね?という感想は覆らなかった

そもそも、心理学とAIの知識がなさ過ぎて日本語でおk状態

nezuko_2000 さんがブースト

LLMも内部的に葛藤してるってことだよね?><;
「悔しい! でもリンゴおいしい!」って事だし、記号接地とは?><;

スレッドを表示
nezuko_2000 さんがブースト

これの3回目と4回目の反応が、悔しがりながらもリンゴっておいしいって思い浮かべてるのもおもしろい><;

スレッドを表示
nezuko_2000 さんがブースト

「思い浮かべないでください」実験、Gemma 3 12Bでもちゃんと再現できる><;

nezuko_2000 さんがブースト

LLMの『内心』を見る「思いうかべないでください」実験の再現実験をした時のスクリーンショット><
mstdn.nere9.help/@orange_in_sp

nezuko_2000 さんがブースト

あるとしか言えない><
後者の方のデモページは、使えるのはQwenとかGemmaとかDeepSeekとかでClaudeはそもそもないし、いじって遊んでみるといいかも><

Emotion concepts in a large language model \ Anthropic
anthropic.com/research/emotion

A global workspace in language models \ Anthropic
anthropic.com/research/global-

@legasus ちなみに、二枚目は日本でも売ってます
ohsei.net

まぁ、設計・製造はたいてい地方の中小企業がやっているのと、これといった安全基準がないっぽい
のでガバ設計なのは仕方ない(?)

古いものを表示