@ashphy ありがとうございます。知識蒸留やChatVectorというワードを知らなかったので勉強になりました。
気になっていたのは、機械学習モデル自体の特徴量を抽出して学習データとすることができるかどうかという点です。
例えば、画像データを学習させる際は、画像の各ピクセルのRGB値などが学習データとして扱われるという認識です。
機械学習モデルについても同様に、モデルとして配布されているバイナリデータから何らかの特徴量を抽出して学習データとして扱うことが可能なのかが気になっていました。
仮に可能であったとしても意義や実用性が乏しそうですし、そもそも機械学習については何も知らないに等しい素人が考えたことなので、私の疑問の前提が間違っている可能性の方が高そうだなとは思っています。