github copilotの路線選択
copilotは昨年2月から7月までvscode insiderで無制限に使用でき、この期間にcopilotのagent能力の徐々の衰退を目撃した。信じがたいことに、copilotの初月プレビュー版が実は最も効果が良く、その後agent能力は徐々に低下した。 具体的に何が変わったのか？ それはcopilotの開発・進化の方向性が、この1年余りの間「トークン節約」であったということだ。初期の各社のagentはファイルを一度にすべて読み込んでいた。qwen cli/claudecode/gemini/copilotの初期もそうだった。効果は非常に良かったが、トークン消費がやや大きいと思われ、コンテキストも急速に埋まってしまう。コンテキストを再構築すると、キャッシュヒット率は低下する。その後、各社とも断片的な読み込みの方向に進み、grep後に前後数十行を読み、足りなければさらに読むものや、LSPのようなコード構造化ツールを使って読むものが現れた。copilotのagentはファイルを上から下へ読む方法を使い、毎回50行、たまに200行読むが、ずっと上から下へ読み続ける。デフォルトの50回のツール呼び出し制限と、200k未満の入力コンテキストと組み合わせると、完了できる作業はかなり限られている。 初期の各ベンダーのサービスはいずれも赤字で、低価格でエコシステムの地位を占めることを期待し、後期にコストを下げる方法を考えていた。しかし、この1年余りの間についにコストが下げられないことが判明し、無理にコストを下げると自社製品が三流製品になってしまうのだ。 だからcopilotをあまり責めないでほしい。牌卓に着けるagentはすでにすべてトークン課金であり、copilotはすでに遅れているものの一つだ。回数制の歴史的負担を捨てた後、copilotには自社のagentをしっかり改善し、本隊に追いついてほしい。何しろそれはvscodeと最も良く統合されているのだから。AIツールを作るのは高くても構わないが、あまりに下手ではいけない。
