朝からダラダラしている。スマホからエージェントにポチポチこんな指示を送るなど。

Sushi とか言う名前は好きじゃないが(だって検索に不利でしょ)、見てこれ。125B級のモデルがたった64GBのMacで動くんだよ。しかも巨大コンテキストを突っ込んでもこの時間で応答するよ。

フォロー

前までは巨大コンテキストは10分待ちとかになってた。それが今じゃ2~3分で応答がくる。(※モデルとランタイムの組み合わせによる)

巨大じゃなければ既に実用的な速度で応答する。つまりVSの拡張で動かすヤツなら既に実用的な速度と品質で動くよ。continueとかね。

ログインして会話に参加
:realtek:

思考の /dev/null