中華NPUはちゃんと使えます、intelとかAMDと違って
@opptape なに？どゆこと？
@legasus RockChip製品の内蔵NPUとかサンプルが公開されてて、こんな感じで使えるんですよLLMは専用形式への変換が要る(変換用のPCはメモリ100GBくらい要る)https://ar-ray.hatenablog.com/entry/2024/02/18/220050
@opptape へぇぇぇぇ。って準備が大変。でもすご。
思考の /dev/null
@legasus RockChip製品の内蔵NPUとかサンプルが公開されてて、こんな感じで使えるんですよ
LLMは専用形式への変換が要る(変換用のPCはメモリ100GBくらい要る)
https://ar-ray.hatenablog.com/entry/2024/02/18/220050