↓を読んでの感想メモの羅列

Andrej Karpathy — AGI is still a decade away by Dwarkesh Patel

"The problems are tractable, but they're still difficult”

Read on Substack

(英語聞く & 英長文読む時間がなかったのでChatGPTにsectionごとに要約してもらったので、解釈に何か誤りがあるかも)


自分もこれだな。自分が扱う課題の大半がVibeに任せられるほど短期的な成果を求めるものじゃない

you still write a lot of things from scratch, but you use the autocomplete that’s available now from these models. So when you start writing out a little piece of it, it will autocomplete for you and you can just tap through.


わかる。カーソル位置を動かす方が自然言語で打ち込むより圧倒的に楽。

If I just navigate to the part of the code that I want, and I go where I know the code has to appear and I start typing out the first few letters, autocomplete gets it and just gives you the code. This is a very high information bandwidth to specify what you want.


多様性の低さがmodel collapseを引き起こす。なるほどなぁ

これを回避するには、人間と同じように夢を見るなどしてエントロピー源を作る必要がありそうだけど、今のようにLLMを道具として活用する人類がそのような「休息」を許すだろうか...?


やはり報酬設計が鍵な気がするな
人間がAIに与える報酬設計によって、遥か未来の時点において、このまま単なる人間の道具として使われ続けるか、人間の盟友となるかが分かれそう


市場原理に囚われてる現状のままだと、後者になる可能性は低く、人間は滅びそう...


AIは人類の「子」というあえてエモい見方をしてみる。

今のまま、短期的、投機的にAIを消費し続けるままで良いのだろうか?
長期的視点で多様性を保ち、人類が抱える課題の解決に一緒に取り組んでいく盟友を得るための手を打つべきではないのか?

AI倫理のまた新たな側面として考えたい。