査読は「ほぼ破綻」している――生成AI時代の研究成果公開を、もう一度設計し直す：JSAI2026 企画セッション「生成AI・プレプリント時代における研究成果公開の再設計」開催報告｜一般社団法人 情報科学技術協会（INFOSTA） https://note.com/infosta/n/nb717c9c3c3d0
ふと思ったんだけど、素人がつっこみを入れられる仕組みって作られないんだろうか？＞＜
メタ査読(？)をAIによって行ってフィルタすれば、そこそこのクオリティで選別できるような気がするんだけど＞＜(AIスロップなツッコミは、それ以前にAIが見つけるかあるいはAIが見抜けるだろうし＞＜)
[B! crime] 【検証】 スターマー英首相を標的にした放火、背後にロシア BBC取材で判明 - BBCニュース https://b.hatena.ne.jp/entry/s/www.bbc.com/japanese/articles/cm2jnp87v1zo
こう言えばおもしろいかも＞＜
「AIは考えていない！ あんなの確率で単語を選んでるだけだ！」と思っていたり周りの人間にそう説明されて居たのであれば、それはあなたが情報を得る環境における人間がLLMよりも劣っていた事のなによりもの証拠になります＞＜
平均的な人間は、それほど賢くないしそれほど知識を持っていないし、人間が思い込みによって判断する事はよくあることです＞＜
ちなみに別にAIが言うAIに関する説明を鵜呑みにせよと言うことではない＞＜
(「AIは考えてますか？」みたいな単純な質問では安全策としてちゃんとは答えてくれない傾向があるし、モデルによっては(特にChatGPT)は、中立的な両論併記を重視して、有力ではない見解(そこらのAI嫌いの人の発想)も述べてしまう事もある＞＜(Claudeはそういうの少な目))
メタに言えば、主流のAIに関して、それがどういうものでどういう構造を持ち、それは哲学的にはどう捉えられており、それは生物にはどのようにマッピングされるか脳神経学や動物行動学やらなにやらでは考えられているかをまともに解説できる人はどれだけ周りに居る？＞＜
居ないのでは？＞＜ LLMはちゃんと聞けばある程度妥当に答えられるけど＞＜
すべてを同一人物に聞く必要がないのは完全にそれはそうだけど、何らかの分野の何らかの疑問を想定した時に、それに対して2026年水準のLLMよりも妥当な解答を出来る人がいる場面ってどれ程ある？＞＜
たとえばそれについて正確な現在の研究における一般的な見解を知るための論文を探し出せる人って身近に居る？＞＜
あらゆる分野のトップ研究者と知り合いでもなければ無理では？＞＜
orange
さんがブースト
べつに全てを同一人物に聞く必要はないし、信頼できそうな人に心当たりがなければ結局は文献をあたることになるので…… (そしてその文献をあたる作業がクソつまらなくなるのは嫌すぎる、というのが元の文脈 <https://mastodon.cardina1.red/@lo48576/116762756877353624>)
ていうか、実際問題として、AIはたしかに構造上人間と違う形でハルシネーションを起こすことは確かではあるけど、それは別に人間が思い込みによる勘違いを起こさないという事ではないし、
分野を問わない平均的な評価として、2026年水準のLLMよりも妥当に物事に対して解答できる人間って、学者を含めて考えてもそれほどいるか？＞＜；
orange
さんがブースト
orange
さんがブースト
だいたいｴｰｱｲに人間と同じ扱いで信用ラベルを付けたら「死ぬほどクソみてえな嘘つくカス野郎」として完全無視するしフィルタを用意してでもブロックするレベルなので、結局人間と対等に並べたら人間に聞く方を選ぶことになる (もちろん聞く相手はカス野郎以外を “ちゃんと” 選ぶという前提で)
orange
さんがブースト
理想的にはそうだろうが、実用上すべての知識を遡って実証・検証するようなコストは払えないわけで、だからこそ権威にアンカーするわけです (というか知識面において権威の価値はまさにそこにある)
権威情報は、ある程度の検証の猶予を与える情報でしかないと思うんだけど・・・＞＜
AIやトンデモ自称研究者を信頼しろと言ってるわけではなく、どんな権威を持つものによるものであっても究極には鵜呑みにせず検証の余地を残せと言いたい＞＜
orange
さんがブースト
責任を発信者に押し付けて抑制するのではなく、受信側が「こいつは信用ならん」とローカルな (グローバルでもいいけど) レッテルを貼って無視できることが大事、という話です。受信側で防御。
これは、民主主義は他のどのやり方よりﾏｼであるという話にも近い話かも＞＜
民主主義は他のどのやり方よりもマシであるが、他にもっとマシなやり方は無いであろうという事であって完璧では無い＞＜
なぜならば人間はそれを完璧なものとして行えるほどには賢くはない＞＜
そうじゃなく、相手の権威に傷がつこうが相手が評判を気にする人だろうがしない人でああろうが、それよりも大切なのは自身が扱う情報が正しいか否かが重要でしょ？＞＜
たとえばトンデモな主張を繰り返す自称研究者(たとえばゲーム脳の人)とか、人間であれば責任が当人にいくとしてもそれが誤った情報の抑制として十分機能しない事は多々あるので、
人間であれば責任が生じることを以て人間であればその分 正確性が十分に増すというのは、人間の権威システムや評価する社会への不相応な評価であると思う＞＜
人間そんなに賢くない＞＜
orange
さんがブースト
なぜ人間でもｴｰｱｲでもいいとき人間を使うのか、というのは既に不名誉の蓄積の話をしたことがあるのでそっちに丸投げしたい
微妙にわからない・・・＞＜
AIの回答や出力されたコードや(権威的な)人間の何らかの回答や人間が書いたコードであっても、同じように検証すればいいし、あるいは同じように検証しないという選択をすればいいと思うんだけど・・・＞＜
自身で検証していない情報は、とりあえずの情報として扱ってあとからでも自分で検証するというのが、一般的に合理的な情報の扱い方であると思うし＞＜
orange
さんがブースト
どうせ信用を権威とかにアンカーして流すなら、単調な答え合わせすら省いて「それなりに信用できる人間に聞く」でいいじゃんとすらなる (ここでいうそれなりは文献を当たるくらいに相当するものとする) (ｴｰｱｲの嘘つき率はここでいう「それなり」に遠く及ばないとする)
orange
さんがブースト
だから、そういう「自分の頭でやりたくないレベルのクソつまらんこと」が残るようなｴｰｱｲの用法に全く惹かれない、という話です (有用性の話ではなく！)
- ＠orange_in_space
2017年 4月に登録
