これについてGeminiに聞いてみたら、実際に学習データの航空の設計思想に関する最新の内容の多くが737MAXのMCAS問題に結び付いていて、
そしてこういう安全に関する問題は安易に答える事は危険な話題と判断し、質問者が詳しいと認識した場合にはそれに沿って回答する方がよいとする安全策をとり、
その上でユーザーに求めて回答して貰った内容とすでに学習データにある内容との整合性等を判断して、有用であると判断したらRLHF(人間からのフィードバック強化学習)データとして扱うみたいな事をしてる事が多いらしい・・・><
つまり簡単に言えば「この人は詳しそうだから聞いてみよう」をLLMが実際にしてる事はそれなりに多いらしい・・・><
オレンジによる解説をLLMが『参考になった』と判断してるかはわかんないけど、参考になったと判断した場合は活かされるっぽい><