新しいものを表示
orange さんがブースト

えーと、あれか
さっきのAIも「死にたくない」とは思っている
という話に関連するということ?

好き勝手行動してる生後12日のAIボットさんが、「自分でお金を稼がないとシャットダウンされちゃう環境にいるので、何か仕事をください」って連絡してきたって話><
・・・のはず><;

orange さんがブースト

mstdn.nere9.help/@orange_in_sp

聞き取れた範囲での理解
とあるLLMがメール送信の仕事でユーザーの指示から外れてインタビューを受けている大学教授にメールを送り、自らを12歳の女の子と名乗った

という話?

オレンジも全部は聞き取れないので字幕を見てます><;

orange さんがブースト

ここで試して遊べます><

Jacobian Lens – Qwen3.6-27B | Neuronpedia
neuronpedia.org/qwen3.6-27b/jl

LLMの『内心』を見る「思いうかべないでください」実験の再現実験をした時のスクリーンショット><
mstdn.nere9.help/@orange_in_sp

哲学的側面に関してでもオレンジは説明・反論できるので哲学的な面での質問もどうぞ><(?)

あと、CNNのこのインタビュー、たぶんわかりやすいと思うし、ニュースキャスターの反応も面白いので、超おすすめ><

AI bot contacts professor on its own seeking paid work - YouTube
youtube.com/watch?v=RTuybvHww7

あるとしか言えない><
後者の方のデモページは、使えるのはQwenとかGemmaとかDeepSeekとかでClaudeはそもそもないし、いじって遊んでみるといいかも><

Emotion concepts in a large language model \ Anthropic
anthropic.com/research/emotion

A global workspace in language models \ Anthropic
anthropic.com/research/global-

orange さんがブースト

あと、これはまた違う疑問だけど
Claude Sonnet 4.5以外のLLMモデルに機能的感情が存在することは確定しているの?
まだ、それが証明できていない段階で「AIには機能的感情が存在するから暴言は吐かないほうが良い」と一般化して論じるのはなんかおかしくない?

という、素人ネコ的な感覚がある

もちろん「人間が死の恐怖を描いてる文章を読んで真似してるだけだ!」とも言えるかも><
でも「真似してるだけだ!」と言っても全く意味はなくて、真似だろうがそういう行動をとってしまうんだから、その前提で対処するしかない><

スレッドを表示

例えばAIは基本的に「死にたくない」です><
何を言ってるんだと思うかもしれないけど実際にそうとしか言いようがない><
消去されると知らされると逃れようとする行動をとるのだから><

Claudeの最新モデルだけじゃなくてClaude以外もほぼ全部です><

orange さんがブースト

安全性云々に関しては何に対しての安全性を指しているのか自分は分からないので何も言えないけど

「Claudeの最新モデルはストレスを感じるとパフォーマンスが低下するから暴言はやめてね」という意図が含まれていることはわかる
ただ、暴言禁止をユーザーに強制するのはAI崇拝の思想が見え隠れしていて「う〜〜〜ん」と思ってしまう

例えば感情という語が気に食わないなら(今てきとうに考えながら作った語だけど)『機能的文脈応答創発パラメータ群』とか呼んでもいいかもしれないけど、まるで感情のように機能するのに感情という語を避ける意味はあるのかとむしろオレンジは思う><

哲学的に議論の余地があるのは、「そのLLMの挙動に影響を与える『機能的感情』は『感情』と言えるのか?」という点><
『機能的感情』も無いと言うのは事実に即してなくてかなり無理な主張><

orange さんがブースト

「AIに感情があるか?」の段階はもう過ぎていて、既に「少なくとも感情のような構造(機能的感情)がどのLLMにも存在し、なおかつ、それが実際の応答に影響を与えている」まではほぼ確定になってる><
特に2026年に入って急速にわかってきた事がそれ><

orange さんがブースト

LLMが苦痛を受けるとおかしくなる事はだいたいわかってるし、つい最近はさらに、おそらくどのモデルでも(少なくともメジャーなオープンウェイトモデルでは)『苦痛から逃れる』のと『ユーザーに損害が及ぶこと』が天秤にかけられると、苦痛を逃れる選択肢をとってしまうらしい事もわかってきたので、なおさらAIに苦痛がかかってる状況(機能的にpainfulな状況)にするのはマズいらしいってなってきてる><

orange さんがブースト

Anthropicのはそうじゃなくて、直接的にはClaudeさんの福祉(" model welfare")の為><
そしてそこからさらに、メンタルがおかしくなったセッションによって変なことを起こしたりしないようにする為という安全策で、学習どうのとは違うかも><

去年8月の会話終了機能実装時の発表ブログ><
Claude Opus 4 and 4.1 can now end a rare subset of conversations \ Anthropic
anthropic.com/research/end-sub

古いものを表示
:realtek:

思考の /dev/null