朝からダラダラしている。スマホからエージェントにポチポチこんな指示を送るなど。
Sushi とか言う名前は好きじゃないが（だって検索に不利でしょ）、見てこれ。125B級のモデルがたった64GBのMacで動くんだよ。しかも巨大コンテキストを突っ込んでもこの時間で応答するよ。
前までは巨大コンテキストは10分待ちとかになってた。それが今じゃ2～3分で応答がくる。（※モデルとランタイムの組み合わせによる）
巨大じゃなければ既に実用的な速度で応答する。つまりVSの拡張で動かすヤツなら既に実用的な速度と品質で動くよ。continueとかね。
思考の /dev/null
前までは巨大コンテキストは10分待ちとかになってた。それが今じゃ2～3分で応答がくる。（※モデルとランタイムの組み合わせによる）
巨大じゃなければ既に実用的な速度で応答する。つまりVSの拡張で動かすヤツなら既に実用的な速度と品質で動くよ。continueとかね。