poteto@poteto

量は大事 いや、わかるよ。エージェントが出てくる前からエンジニアだった人なら、コードの行数やPRの数を生産性の指標にすることに懐疑的なのは当然だと思う。私も同意！というか、少なくとも前は同意してた。説明しやすくするために、最低50人はいる大きいチームのエンジニアの視点で話すね。 前は量なんて関係なかった。インパクトを重視してたから。PRが少なくてもインパクトは大きくできた。たとえば設定を1行変えるだけで会社が何百万ドルも節約できる、みたいな。 でもエージェント以前、量が話題になるのは外れ値のときだけだった。下の端だとパフォーマンスに苦しんでる人、上の端だと「コーディングマシン」タイプの人。コーディングマシンっていうのは、部屋にこもって出てきたら大量の問題を解決するPRの山を抱えてるような人。だから量は大事だったけど、それは分布の両端だけで、しかもインパクトとセットだった。 大手テック企業で働いたことがあるなら、言ってることわかると思う。エージェントの話でいうと、大企業の問題が今や中小企業の問題にもなってるってこと。 じゃあエージェントでこの計算はどう変わるの？要するに、今は誰でもコーディングマシンになれる。めちゃくちゃ優秀なフロンティアモデルがあって、私たちの誰よりもうまく、ずっと速くコードを書ける。そんな世界で、前と同じ数のPRしか出してないなら、なんでもっと生産的になれてないのか立ち止まって考えない？エイリアンみたいな知能が来てるのに、人間のコーディングマシンに出荷量で勝てないの？ だから私はずっと信頼の話をしてるんだよね。エージェントの出力を信頼できるようにちゃんと手間をかけてないと、生産性をスケールさせるのはすごく難しい。 で、たしかにこのやり方はトークンをもっと使う。でも私は知能あたりのコストで考えてる。エージェント以前はこのコストがすごく高かった。年収6桁後半のソフトウェアエンジニアを何人も雇わないといけなかったから。トークンは今もまだ高いけど、知能のコストを考えると時間とともに安くなっていく可能性が高い。今はとんでもなく高く見えるものも、6ヶ月から1年後にはたぶん手の届く値段になってる。エージェントを使うエンジニア1人で、数十人、いや数百人分の仕事を、ほんの一部のコストでできる。 まだみんなピンときてない現実は、ソフトウェアエンジニアの仕事が本当に変わったってこと。私たちの仕事はもう単にソフトウェアを作ることじゃなくて（まあ正直、昔からコードだけの仕事じゃなかったけど、説明のためにちょっと付き合って）、ソフトウェアを書く機械を作ること。このソフトウェア工場、私はミシュランのキッチンって呼んでるんだけど、そういう考え方はまだ研究段階。そういうのを共有するのが好きなんだよね。自慢したいんじゃなくて、エージェントを大規模に使うときにしっかり厳密にやると何ができるかを見せたいから。

volume does matter look, i get it. if you were an engineer before agents came along, you're rightfully skeptical about lines of code and number of PRs being used as a metric for any kind of productivity. and i agree! or at least, i used to. for ease of explanation i will talk about this from the perspective as being an engineer on a large team of at least 50. volume didn't matter before because we focused on impact. you could have high impact even with a few PRs: for example you could make a one line config change and save the company millions of dollars. but before agents, the times where i saw volume come into the conversation were for the outliers. on the negative end you might have someone who is struggling to perform, on the other end you might have someone who was a "coding machine" archetype. a coding machine was someone who could just lock themselves in a room and emerge with a stack of PRs that solve a huge number of problems. so volume did matter, but only at the tail ends of the distribution, and combined with impact. if you've ever worked at a large tech company before, you'll get what i mean. the thing about agents is that big tech co problems are now small-medium co problems as well. how do agents change this calculus? well, everyone now has the ability to become a coding machine. you have incredibly capable frontier models that can write code better than any of us, at a rate much faster than we can. in this world, if you're still producing the same number of PRs as before, why wouldn't you pause to wonder why you're not being more productive? alien intelligence is here, and yet you can't outship a human coding machine? this brings me back to why i keep talking about trust (https://x.com/poteto/status/2102050467505430555). if you haven't put in the work to trust your agent's output, it is very difficult to scale up your productivity. and yes, this approach does require more tokens, but i think about this in terms of cost per intelligence. before agents, this cost was very high - you needed to hire many software engineers with high 6 figure salaries to do the work. tokens are still expensive today, but are likely to get cheaper over time (https://x.com/theo/status/2107924138094703084) factoring in the cost of intelligence. what looks exorbitant today will likely be affordable in 6 moths to a year. a single engineer with agents can do the work of tens if not hundreds of engineers, at a fraction of the cost. the reality that i don't think has hit yet is that job of the software engineer has truly changed. our job is not merely to produce software any longer (well tbh it was never only about the code, but bear with me for the sake of the explanation), but the machine that writes the software. this idea of a software factory, or a Michelin kitchen as i like to call it, is still a topic of research. and it's the type of stuff i like to share, not to flex, but to show you what's possible when you put a lot of rigor into using agents at scale