103/ SITUATIONAL AWARENESS

元OpenAI SuperalignmentチームのメンバーであるLeopold Aschenbrenner(レオポルド・アッシェンブレナー)が書いたAI開発の未来予測

Introduction

未来を最初に見られるのはサンフランシスコだ。歴史はサンフランシスコで生きている。

過去1年間、町の話題は100億ドルのコンピュータークラスターから1000億ドルのクラスターへ、そして1兆ドルのクラスターへと移り変わってきた。取締役会の計画にはたった6か月ごとに1桁が追加されている。

幕の裏では、この10年間で利用可能な電力契約をすべて確保し、調達可能な変圧器をすべて手に入れようと必死の争奪戦が繰り広げられている。

10年以内に、アメリカの電力生産は数十パーセント増加し、ペンシルベニアのシェールガス田からネバダの太陽光発電所まで、数億台のGPUが稼働し続けるだろう。

AGIレースが始まった。

私たちは考え、推論できる機械を構築している。

2025/26年までに、これらの機械は多くの大学院生を凌駕するようになる。10年以内には、あなたや私よりも賢くなり、真の意味での超知性を持つようになるだろう。

の過程で、半世紀以上見られなかった国家安全保障の力が解き放たれ、まもなく「プロジェクト」が始まるだろう。幸運なことに、中国共産党との熾烈な競争に巻き込まれるかもしれないが、不運なことに、全面戦争に巻き込まれるかもしれない。

今や誰もがAIについて話しているが、まさに何が起ころうとしているのかを理解しているものはほとんどいない。

主流のコメンテーターは「次の単語を予測するだけ」という故意の盲目性に陥っている。彼らはただのハイプと日常業務の変化にすぎないと見ているに過ぎない。多くが、インターネットスケールの技術変革を想定するにすぎない。

まもなく世界が目を覚ますだろう。しかし今のところ、サンフランシスコとAI研究所にいる数百人ほどしか、状況認識を持っていない。

何らかの奇妙な運命の力によって、私はその人々の中にいる。数年前、これらの人々は狂気と見なされていたが、トレンドラインを信頼し、過去数年のAI進歩を正しく予測することができた。今後数年についても、彼らが正しいかどうかは未知数だ。しかし、これらは非常に賢明な人々 - 私が出会った中で最も賢明な人々 - であり、この技術を構築している人々である。

I. From GPT-4 to AGI: Counting the OOMs

Ⅰ部の結論

「2027年までにAGI(=最高峰のAI研究者と同じ知能レベルのAI)が実現します」

2027年まで(2025年年初から考えると2~3年)にAGIが実現するのは驚くほど可能性が高い。GPT-2からGPT-4までの4年間で、能力は幼稚園児レベルから高校生並みに向上した。

コンピューティング能力(年間約0.5 OOMs)、アルゴリズムの効率性(年間約0.5 OOMs)、そして「足かせの解除」による進歩を考えると、2027年までにさらに大きな質的飛躍が期待できる。

2027年までに、モデルがAI研究者/エンジニアの仕事を行えるようになる可能性が高いと言えます。これは SFを信じる必要のではなく、単にトレンドラインを信じるだけで十分です。

Trust the trendline.

前提

この章では、以下の4つにおいて進化の速度を見ていく
1. Compute: 計算能力
2. Algorithmic efficiency: アルゴリズムの効率性
3. Data: 学習データの量
4. Unhobbling: 飛躍的な進化
進化の速度は「OOM (= Order of Magnitude)」で表す
- 1 OOMが「10倍になること」を指す
- 1 OOMの進化が3個所で起こると、全体の性能は10 ^ 3 = 1000倍になる
- 0.5 OOMの進化が2個所で起こると、全体の性能は10 ^ (0.5 * 2) = 10倍になる
- 3倍は0.5 OOMs、10倍は1 OOM、30倍は1.5 OOMs、100倍は2 OOMs

過去4年間のAIの進化

過去4年間の「GPT-2」から「GPT-4」までの進化を見る
- GPT-2 (2019) ~ 幼稚園児
  - GPT-2は5まで数えるのがやっと
  - 時折いくつかの意味のある文章を作り出すことができるレベル
- GPT-3 (2020) ~ 小学生
  - 基本的な算術を行うことができる
  - SEOやマーケティングのための簡単なコピーを生成できる
  - 初歩的なコーディングができる
- GPT-4 (2023) ~ 高校生
  - 高校生向けの難しい数学の問題を解くことができる
  - 高度なフェルミ推定を行うことができる
  - かなり洗練されたコードを書いて、反復的にデバッグできる
  - 標準的な高校や大学の適性試験のほとんどを解くことができる
過去4年間の実績だと、
- Computeで3.5 ~ 4 OOMs
- Algorithmic efficiencyで1~2 OOMs
- この2つの合計で4.5~6 OOMsの性能向上が起こった
- さらにUnhobblingで2 OOMs

1. Compute (計算能力)

多くの人はAI開発における計算資源のスケールアップを「ムーアの法則」の延長だと考えているが、そんなレベルではない
- ムーアの法則は全盛期でも10年に1~1.5 OOMsの進化速度
  - 「2年ごとにトランジスタ数が倍増する」ペースで考えると、10年間で約2^5=32倍、つまり約1.5 OOMsの性能向上に相当
AI開発における計算資源のスケールアップは、ムーアの法則の「5倍」の速度
- ムーアの法則がざっくり「2年で2倍」なので、5倍の速度は「2年で10倍」
- 過去15年ほどの間、主に「投資の大規模な拡大」と「GPUやTPUの形でAIワークロード用のチップを専門化してきたこと」により、最先端のAIシステムに使用される学習コンピューティングは年間約0.5 OOMの割合で成長してきた
この記事では、記事執筆時から4年後の2027年末までに100倍(「約100億ドル規模のクラスター」)、1000倍(「1000億ドル規模になってもおかしくない」)の計算能力の進化を予測している

2027年末までに計算能力がさらに2桁増加する(100億ドル規模のクラスター)可能性が非常に高く、3桁増加する(1000億ドル超)可能性も現実的だと考えられています

ちなみにアメリカ政府から2025年1月に発表されたStargate Projectは、4年間で78兆円(5000億ドル)の投資を行っていく
- 2029年までに5000億ドルのクラスターは確定している
- 年間1250億ドルずつ投資されると考えると、2027年末迄に3750億ドル投資されることになる
- 余裕で1000億ドル規模に達している
つまり、投資金額だけで言うと、situation awarenessに書いてある予測よりも速い速度で進化している

2. Algorithmic efficiency (アルゴリズムの効率性)

最先端のAIモデルを作っている研究所は数字を公開していない
ただ「一部の公開されているモデルの数字」と「サービス提供されているモデルの性能とコストからの推定」を用いると、アルゴリズムの効率性は年間約0.5 OOMs (3.16倍)の改善が行われる傾向にある
4年後の2027年までに、記事執筆時最新モデルであるGPT-4の約2 OOMsの向上が見込まる
- 4年後には同じ性能を1/100のコンピューティングリソースで実現できるようになるペース
ちなみに最近のDario AmodeiのBlogで、「Anthropicにおいては1年間で4倍の効率改善が行われている」と書かれていた
- つまり、さらに速い速度で進化している
- 4年後には同じ性能を1/256のコンピューティングリソースで実現できるようになるペース

3. Data (学習データの量)

学習時の学習データを増やせば増やすほど、モデルの性能は向上するが、インターネットにPublicに公開されているデータが枯渇している (The Data Wall)
同じデータを何度も学習するという手法も取られているが、16 Epochの繰り返し学習をすぎると、それ以上同じデータでは性能が向上しないという研究がある
つまり、「Pre Trainingのパラダイムに乗っている」状態では、学習データが枯渇すると性能の向上が行き詰まる
ただし、データ不足が問題にならないように別の手法を取る研究も多くされていた
ざっくり言うと現在のLLMの事前学習は「教科書を流し読みしている状態」なので、人間と同じように「じっくりInputする」「仲間と議論しながらInputする」「練習問題を解く」など様々な手法を試す余地がある
AlphaGoで起きたことと同じように、教師データを与える手法ではない強化学習などの手法で改善する手段もある
2024年9月にOpenAIが発表した「推論時にコンピューティングコストをかける」パラダイムで、データ不足問題は解消された
- 「推論時にコンピューティングコストをかける」パラダイムには、データ量は関係ない

4. Unhobbling (飛躍的な進化)

以下のような手法を組み合わせて使うことで多くのベンチマークで5~30倍の性能向上した

Epoch AIによる調査では、足場づくりやツールの使用などのテクニックを使うと、多くのベンチマークで5-30倍の効果的な計算能力の向上が得られることがわかりました。
Unhobblingによって、単なるChatbotがAgent Coworkerになっていく
Reinforcement learning from human feedback (RLHF)
- 人間のフィードバックから強化学習させることで、インターネットのランダムなデータを学習しただけのモデルが圧倒的に人間好みになった
- ある論文によると100倍人間の評価が改善した
これがChatGPTの魔法でした - 適切なRLHFによりモデルが実際の人々に使えるようになり、役立つようになったのです。オリジナルのInstructGPTの論文には、これを定量化した素晴らしい内容があります:RLHF済みの小さなモデルは、非RLHF済みの100倍以上大きなモデルと同等の人間の評価者の好みでした。
Chain of Thought (CoT)
- 2022年頃から広く使われるようになった手法
- 数学などの推論問題で10倍以上の性能向上をもたらした
Scaffolding
- 計画を立てるモデル、解決策を提示するモデル、それらを批評するモデルなどを組み合わせる手法
- SWE Benchで、GPT-4(2%の正答率)よりもDevin(14~23%の正答率)の方が高いスコアを出した手法
Tools
- Web検索やコード実行環境、外部APIなどを使えるようにする手法
Context Lengthの拡大
- コンテキストウィンドウが広いほど、与えられる文脈が多いため性能が上がる
Post Training
- GPT-4はリリースされたタイミングと記事執筆時点では大幅に改善されている
- 実際、最近(2025年2月)にもGPT-4oが賢くなった

今後4年間のAIの進化

過去4年間の進化のペースがそのまま続くと考えると、
- Computeで2~3 OOMs
- Algorithmic efficiencyで1~3 OOMs
- 2つ合わせて3~6 OOMsの性能向上が見込まれる (妥当な予測で5 OOMs)
- さらにUnhobblingも未知数の可能性がある
Unhobblingの進化分を考慮しない場合でも、5 OOMsの進化なので、4年間でに10万倍の性能向上が見込まれる

この10年間で、私たちはOOMsを急速に通り抜けています。ムーアの法則の黄金期でさえ、1-1.5 OOMs/10年でした。私は、4年以内に約5 OOMsを行い、この10年間で10 OOMs以上を行うと見積もっています。

3倍速の天才児

AIの進歩の現在の傾向は、子供の発達の約3倍のペースで進行していると考えるのは1つの良い方法です。3倍速の子供はもう高校を卒業したのですから、あなたの仕事を奪ってしまうかもしれません!)
全てのコンテキストを持っている天才リモートワーカー

重要なことは、単に信じられないほど賢いChatGPTを想像するだけではありません。制限を取り除くことで、これはリモートワーカーのようなものになり、理由付けと計画、エラー修正ができ、あなたと会社のことをすべて知っており、数週間にわたって独立して問題に取り組むことができる、信じられないほど賢いエージェントのようになるはずです。
2027年までにAGI = 最も賢い人類と同じ知能レベル
世界最高峰のAI研究者、AIエンジニアと同じレベルを意味する

我々は2027年までにAGIに到達する道筋にあります。これらのAIシステムは基本的にすべての認知的な仕事(リモートで行える仕事すべて)を自動化できるようになるでしょう。

私が意味しているのは、AIリサーチャーやエンジニアの仕事を完全に行えるようなものです。

ロボット工学のような分野は、デフォルトでは時間がかかるかもしれません。また、医療や法律の分野での社会的な展開は、社会的な選択や規制によって容易に遅れる可能性があります。しかし、一旦AIリサーチ自体を自動化できるモデルが登場すれば、それで十分です。そうすれば、強力なフィードバックループが始まり、さらなる進歩を非常に早いペースで実現できるでしょう。自動化されたAIエンジニア自身が、あらゆるものを完全に自動化するための障壁を解決していくことになります。

SFの話ではなく、単に現実の成長速度を信じよ

博士号を持つ人間が数日かけて解決するような難しい科学問題を、すぐに解決するモデルが登場するのを目の当たりにして、人々は信じられないと思うでしょう。また、コンピューター上で仕事をこなし、数百万行ものコードを一から書き上げるモデルが登場するのを目にするでしょう。そして、これらのモデルが生み出す経済的価値が毎年10倍になっていくのを目にするでしょう。SF小説ではなく、オーダーオブマグニチュードを数えるべきです。これが私たちが期待すべきことです。AGIはもはや遠い夢ではありません。

悲観的なシナリオ

Computeへの投資
- 「大企業が負担できる金額」と「投資できるGDPの割合」を考えると数兆ドルの桁の投資が限界
- それ以降は実質GDP成長率(2%)分しか投資できない
- そのため、数兆ドルの桁の投資の間にAGIが完成しない場合は、AGIに到達するのはかなり先になってしまう
ハードウェアの限界
- AIハードウェアがムーアの法則よりも速い速度 (5倍速)で改善されてきたが、これはチップをAIワークロードに専門化してきたことによる
- 完全にAI専用のチップに到達し、それ以上専門化が行えない状態に達すると、ムーアの法則のペースに収束する可能性がある
アルゴリズムの効率改善
- アルゴリズムの効率改善は、(AGIに達するまでは) 人的資本に依存する
- 仮に世界の全ての賢い人材がAIに取り組み尽くした場合、それ以上の改善が見込めなくなる可能性はある
データの枯渇
- データが枯渇した上に、データの制約を突破するための発明がなされない場合、性能向上が停滞する可能性はある
データの枯渇により進捗が停滞したり、データの壁を突破するために必要な画期的なアルゴリズムの開発が予想以上に困難だった場合、進展が停滞する可能性があります。

II. From AGI to Superintelligence: the Intelligence Explosion

Ⅱ部の結論

「一度AGIができると、AGIがAI研究を自動化し、急速にASIに達する」

AI進歩は人間レベルで止まらない。数億台のAGIが AI研究を自動化し、10年分のアルゴリズム進歩(5+OOMs)を1年以内に圧縮できる。我々は急速に人間レベルから遥かに超人的なAIシステムに移行するだろう。超知能の力と危険性は劇的なものになるだろう。

超知能機械を、いかなる人間よりも知的活動を遥かに凌駕する機械と定義しよう。機械の設計もこれらの知的活動の1つであるから、超知能機械はさらに優れた機械を設計できるだろう。そうなれば疑いなく「知能爆発」が起こり、人間の知性は取り残されることになる。したがって、最初の超知能機械こそが、人間が作り出す最後の発明となるのである。

I. J. Good (1965)

爆弾の進化とAIの進化の比較

東京空襲では、数百機の爆撃機が市街地に数千トンの通常爆弾を投下しました。その年の後半には、広島に投下された「リトルボーイ」が同様の破壊力を単一の装置で発揮しました。しかし、わずか7年後にはテラーの水素爆弾が爆発力を1000倍にも高めました。第二次世界大戦中に投下された全ての爆弾の爆発力を上回る単一の爆弾が登場したのです。

「原子爆弾」は爆撃作戦の効率化を図ったものでしたが、「水素爆弾」は国家を壊滅させる装置でした。

AGIとASIもそうなるでしょう。

AGIからASIまでの進化

AGI = 最高峰のAI研究者が一度実現した時、その時のGPUクラスタで数百万のAGIを稼働できる
- さらにAGIは現在の人間のAI研究者の10倍以上の速度で仕事ができる、かつ24時間休みなく働く
- これは人間のAI研究者1億人分と推定される
- 現在の存在する人間のトップクラスのAI研究者は数百人

一度AGIが実現すれば、AGIは1つだけではありません。後ほど数字を説明しますが、AGI実現時のGPUクラスタを使えば、多数のAGIを稼働させることができるでしょう(おそらく1億人分の能力、さらにその10倍以上の速度) オフィスを歩き回ったりコーヒーを淹れることはできなくても、コンピューター上でML研究を行うことができます。先端的なAI研究所の数百人の研究者や技術者ではなく、10万倍以上の人員が昼夜を問わず、アルゴリズムの革新に取り組むことになります。

私たちは何百万もの自動化されたAI研究者のコピーを実行できるようになり(そして間もなく人間の10倍以上の速度で)、 2027年までには数百万台のGPUフリート(クラスタ)を期待できるはずです。トレーニングクラスターだけでも既に約3桁大きくなり、A100相当の1000万台以上になっています。推論フリートはさらに大きくなるはずです。

それにより、私たちは自動化されたAI研究者の何百万もの複製を24時間体制で実行できるようになります。おそらく1億人分の研究者に相当するでしょう。正確な数値には仮定が含まれていますが、人間が1分間に100トークンを「考える」という粗い目安と、先端モデルの1トークンあたりの推論コストの歴史的傾向とChinchillaのスケーリング則に基づいています。

AIの研究だけをAGIが行えればそれで良い

すべてを自動化する必要はありません。AIリサーチだけでいいです。 AGIの変革的な影響に対する一般的な異論は、AIがすべてを行うのは難しいということです。しかし、AIがAI研究を自動化するためには、ロボット工学は必要ありません。 AI研究者やエンジニアの仕事は完全にバーチャルに行うことができ、現実世界のボトルネックに遭遇することはありません
1億人のAGIが、3つのAIの改善方法のうちの「アルゴリズムの効率改善」を急速に進める

自己改善は確かに起こりますが、SF小説のようなことは必要ありません。既存のアルゴリズム進歩の傾向(現在は年間約0.5オーダー)を加速させるだけで十分です。

現在の人間のAI研究者数百人で、年間 0.5 OOMsのアルゴリズムの効率改善が行われている
1億人のAI研究者に当たる数百万のAGIが研究すれば、1年間で5 OOMsのアルゴリズムの効率改善が行われるだろう
- 根拠は「研究努力が100万倍になるんだから、10倍の研究成果を得るのは妥当」という推測が入っている
10年分のアルゴリズム進歩を1年に圧縮するのは非常に現実的だと思われます。（1,000,000倍の研究努力から10倍の加速を得るのは、控えめに見ても妥当だと思われます。）
1年間で 5 OOMsのアルゴリズムの効率改善が行われるのであれば、性能は10万倍向上することになる
最も賢い人間であるAGIの10万倍賢い
- 孫正義理論によると、金魚と人間の知能差分が1万倍なので、それの10倍
人間には全く理解できない存在になる

ASIは超人的なものになります

10年以内に数億台のGPUを持つ艦隊を使えば、数十億人規模の文明を運営できるようになり、人間よりも桁違いに速く考えられるようになります。彼らはどんな分野でも素早くマスターし、何兆行ものコードを書き、これまでに書かれた全ての研究論文を完璧に学際的に読み、その要約を書く前に新しい論文を書くことができます。また、自身のコピーの並列経験から学び、新しいイノベーションについて数週間で数十億人分の人間相当の経験を積み、100%の時間を最高のエネルギーと集中力で働きます

モデルが何十年もかけて説明しようとしても、人間には理解できないほど複雑なコードを生成するだろう。人間が何十年も立ち往生するような極めて難しい科学的・技術的な問題は、彼らにとってはまるで明白なものに見えるだろう。

Compute(計算能力)の上限
アルゴリズムの効率改善のアイデアが見つかりにくくなる(収穫逓減していく)
のような制約はあるが、それを考慮しても1年で 5 OOMsは現実的

これらの要因全体で、多少のスローダウンが起こる可能性がある。知能爆発の最も極端なバージョン(一晩で起こるなど)は不可能だと思われる。

ASIが実現したらどうなるのか

知能爆発と超知能直後の期間は、人類史上最も不安定で緊張し、危険で狂乱した時期の1つになるでしょう。

経済

まず、あらゆるホワイトカラーの仕事が自動化される
次にロボット工学をアルゴリズムの効率性改善から進化させ、Robotの軍団を生み出して、物理世界の仕事も全て自動化する
AI研究だけではなく、あらゆる分野の科学技術を発展させる

人間が今後100年で行うはずだったあらゆる分野の研究開発を数年で実現する

産業と経済の成長が爆発する

経済成長率が現在の年間2%から30%を超える水準になり、すぐに年間数倍の成長になる可能性がある
これは社会的な反発によって遅延する可能性がある

社会的な摩擦によって遅延する可能性もある。例えば、AI システムがそれらの仕事をはるかに上手に行えるにもかかわらず、弁護士や医師がまだ人間である必要があるような、複雑な規制が存在する可能性がある。急速に拡大するロボット工場に砂が投入されるように、社会が変化のペースに抵抗するかもしれない。また、人間のベビーシッターを保持したいと考えるかもしれない。これらすべては全体的なGDP統計の成長を遅らせるだろう。しかし、人為的な障壁を取り除いた分野(例えば、軍事生産のために競争が私たちにそうせざるを得なくさせる)では、産業の爆発が見られるだろう。

軍事

軍事革命が起こる

極端に急速な技術進歩とともに軍事革命が起こるだろう。ドローンの群れやロボット軍隊は大きな問題になるが、それはほんの始まりにすぎない。私たちは、新しい大量破壊兵器から無敵のレーザー誘導ミサイル防衛システムまで、私たちがまだ想像できないような完全に新しい種類の武器を期待すべきである。超知性以前の武器庫と比べると、21世紀の軍隊が19世紀の馬と銃剣の部隊と戦うようなものだ。

世界の支配者が変わる

誰がスーパーインテリジェンスを支配するかによっては、スーパーインテリジェンス以前の勢力から支配権を奪うだけの力を持つ可能性がある。ロボットがなくても、スーパーインテリジェンスの小さな文明は、守られていない軍事、選挙、テレビなどのシステムをハッキングし、将軍や有権者を巧みに説得し、国家を経済的に圧倒し、新しい合成生物兵器を設計してビットコインで人間に合成させるなどのことができるだろう。

IIIa. Racing to the Trillion-Dollar Cluster

IIIaの結論

「10年以内に数兆ドルの設備投資がGPU、データセンター、電力に投入される」

驚くべき技術資本の加速が始まっている。

AIの収益が急速に成長するにつれ、10年以内に何兆ドルものお金がGPU、データセンター、電力施設に投入されるだろう。

電力生産を10%以上増やすなど、産業動員は激しいものになるだろう。

投資がどのくらい加速するか

2027年までにMagnificent 7の会社は年間に1兆ドル以上のAI投資を行うようになる

AIプロダクトからの収益が急速に成長し、GAFAのような企業で2026年頃には年間100億ドルのペースに達する可能性があり、2027年までに年間1兆ドル以上の総AI投資が行われる可能性があります。

2028年までにAI学習用のGPUクラスタが数百億ドルの費用がかかるようになる

2028年までに個別のトレーニングクラスターが数百億ドルもの費用がかかるようになり、小規模~中規模の米国州に相当する電力を必要とし、国際宇宙ステーションよりも高価になる可能性があります。

1兆ドル以上の個別のトレーニングクラスターが登場し、米国の電力生産の20%以上に相当する電力を必要とするようになる

10年以内に1兆ドル以上の個別のトレーニングクラスターが登場し、米国の電力生産の20%以上に相当する電力を必要とするようになります。数兆ドルものCapexが投じられ、年間数億台のGPUが生産されることになります。

1兆ドルのクラスター - GPT-4クラスターから4桁増加、2030年の訓練クラスター - これは本当に驚くべき取り組みになるでしょう。必要な100GWの電力は、米国の電力生産の20%以上に相当します。単なるGPUの倉庫ではなく、数百の発電所が必要かもしれません。おそらく国家コンソーシアムが必要でしょう。

AGIには100億ドルのクラスターで十分かもしれず、1兆ドルのクラスターはスーパーインテリジェンスの訓練や実行に使われるかもしれません。

NVIDIA is undervalued.

NVIDIAのデータセンター収益は近々四半期当たり約250億ドルのペースに達するでしょう。つまり、NVIDIAを通じて約1000億ドルのCapexが流れることになります。 NVIDIAのデータセンター売上が年間約14億ドルから約90億ドルに急増したことが世界を驚かせましたが、これはまだ始まりに過ぎません。

実際に動き始めている

Zuckが350,000台のH100を購入しました。Amazonが原子力発電所の隣に1GWのデータセンターキャンパスを購入しました。クウェートで1GW、1.4M H100相当のクラスター(~2026クラスター)が建設されているという噂があります。Microsoft とOpenAIが2028年に100億ドルのクラスターを開発しているという噂があります(国際宇宙ステーションと同等のコスト!)

インターネットで1兆ドルの投資、インターネットの10倍はある

1996年から2001年にかけて、通信業界は今日の換算で1兆ドル近くをインターネットインフラの構築に投資しました。
Amazonのジェフ・ベゾスが「市場が1年間で2300%の成長をしている」ことに気づいてインターネットを始めたという話があるが、それどころではない？
孫正義の「2億個のGPUと400GWの電力、これらを実現するための9兆ドルの設備投資」というのは、彼がひとりでに言ってるわけではなく、世界のITトップの総意

AMDは2027年までにAIアクセラレータ市場が4000億ドルに達すると予想しており、これは7000億ドル以上のAI支出を意味しており、私の数字とほぼ一致しています Sam Altmanは、AIコンピューティング能力を構築するためのCapexプロジェクトに最大7兆ドルを調達する交渉をしていると報告されています
本物の「トリリオンゲーム」が始まってる

資金

2027年までにMagnificent 7の会社は年間に1兆ドル以上のAI投資を行うようになるというのもAIでの収益増加で可能
期待収益があれば投資は継続される

OpenAIは2023年8月に10億ドルの年間収益率に達し、2024年2月には20億ドルの年間収益率に達したそうです。つまり、6か月ごとに2倍になっています。この傾向が続けば、次世代モデルからの大幅な増加がなくても、2024年末/2025年初めには100億ドルの年間収益率に達するはずです。Microsoftの増分AI収益は既に50億ドルに達していると推定されています。

GPT-3.5がChatGPTブームを引き起こしました。GPT-4クラスターの推定5億ドルのコストは、MicrosoftとOpenAIの報告された数十億ドルの年間収益で簡単に回収できるでしょう

2024年クラスのトレーニングクラスターの数十億ドルも、MicrosoftとOpenAIのAI収益が100億ドル以上の収益率に到達すれば、簡単に回収できるでしょう。ブームは投資主導です。大量のGPUを注文してクラスターを構築し、モデルを構築し、展開するまでには時間がかかりますが、最後のGPU注文の収益が実現し続ければ、投資はさらに急増し(収益を上回って)、さらに多くの資本が次の10倍の収益が得られると賭けられるでしょう。

AIから100億ドルの利益が出るようになると投資が止まらなくなるはず

私が考えるAI収益の重要なマイルストーンは、大手テック企業(Google、Microsoft、Meta等)がAI(製品およびAPI)から100億ドルの年間収益率を達成するタイミングです。これらの企業の収益は現在1000億ドル~3000億ドルの規模ですので、100億ドルはかなりの割合を占めることになります。2025年初頭に10億ドルの収益率に達したと仮定すると、非常に単純に外挿すると、2026年半ばにこのマイルストーンに到達すると考えられます。

例えば、Microsoftのオフィス製品の有料ユーザーは3.5億人ほどいますが、その3分の1がAIアドオンに月100ドルを支払うようになれば、それは1人当たり月数時間の生産性向上で正当化できるはずです。そのようなモデルが今後数年で実現可能だと考えられます。

AIが米国最大手企業の最大の収益源、そして圧倒的な成長分野になるでしょう。これらの企業の全体収益成長予測は急上昇するでしょう。株式市場も追随し、まもなく時価総額10兆ドルの企業が登場するかもしれません。この段階の大手テック企業は、さらなるAI拡大に数千億ドル以上を投じる用意があるでしょう。多額の社債発行も見られるかもしれません。

100億ドルを超えると、その輪郭を見通すのは難しくなります。しかし、本当にAGIへの道を歩んでいるのであれば、収益は得られるでしょう。世界中で年間数十兆ドルもの賃金が支払われている知的労働者に、たとえばAIプログラマーのような本当に自動化された遠隔労働者が導入されれば、数兆ドルのクラスターの投資を正当化できるでしょう。

国家レベルでの投資は、急成長国家であればGDPの40%以上を投資に回すことも可能

急成長する経済では、GDPの40%以上を投資に費やすことが一般的です。中国は2010年代の20年間、GDPの40%以上を投資に費やしてきました(米国GDPに換算すると年間11兆ドル相当)。

大戦時には数兆ドルの借り入れも行われていた

歴史上最も差し迫った国家安全保障上の状況 - 戦時中 - には、国家的な取り組みを資金調達するために、GDPの100%を超える借入が行われてきました。第一次世界大戦中、英国、フランス、ドイツはGDPの100%以上を、米国は20%以上を借り入れました。第二次世界大戦中、英国と日本はGDPの100%以上を、米国は60%以上(現在の17兆ドル相当)を借り入れました。

電力

電力が一番のボトルネック
原子力発電所をつくるのに10年かかる

供給側の最大の制約要因は恐らく電力でしょう。より近い将来のスケール(2026年の1GW、特に2028年の10GW)では、電力が最も制約となっています。余剰容量がほとんどなく、電力契約は通常長期的に固定されているためです。ギガワット級の新しい原子力発電所を建設するには10年もかかります。

ただ、米国であれば天然ガスを使えば、100GWの発電すら現実的

10GWのクラスターを稼働させるには、わずか数%の米国の天然ガス生産量で賄えるため、迅速に対応できる。 100GWのクラスターでさえ、驚くほど実現可能だ。米国の天然ガス生産量は10年間で2倍以上増加しており、この傾向が続けば、複数の1兆ドルのデータセンターを稼働させられる

グリーン規制とか言ってる場合じゃない

米国でのデータセンター建設に対する障壁は自ら作り出したものだ。気候変動への取り組み(政府だけでなく、Microsoft、Google、Amazonなどのグリーンデータセンターの公約)が、明らかで迅速な解決策の妨げになっている。少なくとも天然ガスを使わない場合でも、規制緩和を行えば、太陽光/蓄電池/小型モジュール原子炉/地熱の巨大プロジェクトが実現できる。許認可、電力規制、送電線のFERC規制、NEPAの環境審査などが、数年で済むはずのものを10年以上もかかるようにしている。我々にはそのような時間的余裕はない。

チップ

TSMCの状況から考えると、数兆ドルの投資を行えば実現可能

新しいTSMCのギガファブ(技術的な驚異)は約200億ドルのCapexで、月産10万ウェハーを生み出す。年間数億台のAIGPUを供給するには、TSMCはこのようなファブを数十基建設する必要があり、メモリ、高度実装、ネットワーキングなどの大規模な投資も必要となる。合計で1兆ドル以上のCapexが必要になるだろう。大変な努力が必要だが、実現可能だ。

もはや国家レベルの問題

Trillion Dollarクラスターは米国に建設するべき

この10年の間に、数兆ドル規模のコンピューティングクラスターが建設されるだろう。問題は、それらが米国で建設されるかどうかだ。一部の人は中東での建設を企図しているといわれている。マンハッタン計画のインフラを、気まぐれな中東の独裁者の支配下に置くべきではない。

今日計画されているクラスターは、単なる「クールなビッグテック製品」のクラスターではなく、AGIやsuperintelligenceの訓練や実行に使われる可能性がある。国家の利益のためには、これらが米国(または民主主義同盟国)で建設されることが不可欠だ。そうでなければ、取り返しのつかないセキュリティリスクが生じる。AGIの重みが盗まれ(恐らく中国に送られる)、独裁者がデータセンターを物理的に奪取する(自らAGIを構築・運用するため)、あるいは単に暗黙の脅威として利用されるリスクがある。

IIIb. Lock Down the Labs: Security for AGI

IIIbの結論

「モデルの重み」と「アルゴリズム」を秘密にして、国家レベルのセキュリティで守る必要がある

国内の主要なAI研究所はセキュリティを二の次にしています。現在、彼らは事実上、AGIの重要な秘密を中国共産党に銀盤の上に載せて渡しています。AGIの秘密と重みを国家主体の脅威から守るには膨大な努力が必要で、私たちはその道筋にはいません。

原子爆弾開発との比較

原子爆弾開発時は秘密を守ったため、ナチスが原子爆弾を作ることはできなかった

「シラードはコロンビアのデータを説明し、それによると少なくとも2つの二次中性子が中性子誘起核分裂から放出されることが示唆されていると報告しました。これは核爆発が確実に可能であることを意味しないでしょうか?」ボーアはそうではないと反論しました。

「私たちは彼を説得しようとしました」とテラーは書いています。「核分裂の研究を進めるべきですが、結果を公表してはいけません。ナチスがそれを知って先に核爆発を起こさないよう、結果を秘密にしておくべきです。」

「ボーアは、私たちが決して核エネルギーを生み出すことはできないと主張し、物理学に秘密を持ち込んではいけないとも主張しました。」

リチャード・ローズ、『原子爆弾の誕生』

原子爆弾の可能性が初めて明らかになった際、秘密保持も最も論争的な問題の1つでした。1939年と1940年、レオ・シラードは「核分裂に関する事項の秘密保持の最大の擁護者」として知られるようになりました。しかし、ほとんどの科学者から拒否されました。秘密保持は科学者の基本的な開かれた科学の精神に反するものでした。しかし、この研究の軍事的な可能性が大きすぎて、ナチスとの自由な共有は許されないことが徐々に明らかになりました。そして、ついに秘密保持が課されたのです。

1941年初頭、ハイデルベルクにおいてウォルター・ボーテはグラファイトの吸収断面積に関する誤った測定を行い、グラファイトはチェーン反応を維持するには中性子を吸収しすぎると結論付けました。フェルミが彼の結果を秘密にしていたため、ドイツ側はフェルミの測定値を参考にして誤りを修正することができませんでした。これは極めて重要なことであり、この誤りによってドイツのプロジェクトは重水を追求する方向へ進むことになりましたが、それは最終的にドイツの核兵器計画の失敗を決定付ける誤った道でした。

その最後の一瞬の秘密保持の訴えがなければ、ドイツの爆弾プロジェクトははるかに手強い競争相手になっていたかもしれない—そして歴史はまったく異なる展開をたどったかもしれない。

今のセキュリティはガバガバ

2027年のAGI実現に向けて、今まさに重要なアルゴリズムの秘密が作られている
にも関わらず、OpenAIを始めとするサンフランシスコの会社のセキュリティは単なるソフトウェア企業と同じレベル
国家レベルでセキュリティ対策をしないとまずい

現在の道筋では、主要な中国のAGI研究所はベイジンやシャンハイではなく、サンフランシスコやロンドンにあるでしょう。数年後には、AGIの秘密がアメリカの最も重要な国防秘密であり、B-21爆撃機やコロンビア級潜水艦の設計図、さらには「核の秘密」と同等に扱われるべきだと明らかになるでしょうが、今日では、ランダムなSaaSソフトウェアと同じように扱われています。このままでは、事実上、中国共産党に超知性を手渡してしまうことになります。

私たちが投資する数兆ドル、アメリカの産業力の動員、最も優れた頭脳の努力—それらはすべて、中国やその他の国がモデルの重みやアルゴリズムの秘密を簡単に盗めば意味がなくなります。

アメリカの主要なAIラボは自ら「AGIを構築している」と宣言しています。彼らは、この10年以内に、アメリカが今まで持っていた最強の武器になると信じています。しかし、彼らはそれを武器として扱っていません。彼らのセキュリティ対策は「ランダムなテクノロジー企業」に対するものであり、「重要な国防プロジェクト」に対するものではありません。

今日の失敗は間もなく取り返しのつかないものになります。今後12-24か月以内に、我々は中国共産党に重要なAGI(人工一般知能)の進展を漏らすことになります。これは今後10年間で国家安全保障当局が最も後悔することになるでしょう。

人材の引き抜き競争も熾烈

ByteDanceはGoogleのGeminiの論文に参加していた人々にほぼ全員にメールを送り、L8(非常に上級のポジション、おそらく同様に高給)を提示し、ByteDanceのアメリカのCTOに直接報告すると説明して、採用を働きかけているそうです

IIIc. Superalignment

IIIcの結論

「Superalignmentは研究が進めば技術的な解決が見込めるが、知能爆発が起こると制御できなくなる可能性がある」

私たちよりはるかに賢いAIシステムを確実に制御することは未解決の技術的問題です。そしてこれは解決可能な問題ですが、急速な知性爆発の際に物事がうまくいかなくなる可能性があります。

ASIに倫理を教える方法

現在のAIのレベルであればRLHFで制御可能

私たちは、現在のAIシステム(私たちよりも劣るAIシステム!)を整列(つまり、操舵/制御)する非常に成功した方法を開発することができました:人間からのフィードバックによる強化学習(RLHF)です。RLHFの考え方は簡単です:AIシステムが色々なことを試し、人間がその行動が良いか悪いかを評価し、良い行動を強化し、悪い行動を罰することで、人間の好みに従うように学習します。

人間よりも賢い存在を制御する方法はまだ見つかっていない

AIシステムがより賢くなるにつれて、RLHFは確実に破綻し、根本的に新しく質的に異なる技術的課題に直面することになります。例えば、超人的なAIシステムが自ら発明した新しいプログラミング言語で100万行のコードを生成したとしましょう。人間の評価者にそのコードに安全上の抜け穴があるかどうかを尋ねても、彼らはそれを判断できません。良い行動を強化し、悪い行動を罰することができないため、RLHFを使うことはできません。

「嘘をつかない」、「法律に従う」、「サーバーを不正に持ち出そうとしない」などの基本的な副制約さえも、これらのシステムに確実に保証する技術的能力はまだありません。人間のフィードバックによる強化(RLHF)は、現在のシステムにそのような副制約を追加するのに非常に効果的ですが、RLHFは人間がAIの行動を理解し監視できることを前提としており、これは根本的に超人的なシステムにはスケールしません。

私たちはそれらが何をしているのかを理解できず、したがって、RLHFを使って悪い行動を見つけて罰することはできません。

実際にRLHFを行う評価人材が高度になってきている

今でも、AIラボは、ChatGPTのコードにRLHFの評価を行うために、専門のソフトウェアエンジニアを雇う必要があります。現在のモデルが生成できるコードはすでに非常に高度です。人間のラベラーの報酬は、MTurkのラベラーの数ドルから、ここ数年で約100ドル/時間のGPQAの質問にまで上がっています。近い将来、最高の人間の専門家が長時間費やしても十分ではなくなるでしょう。私たちは現実世界で超アラインメントの問題の初期バージョンに直面し始めており、次世代システムを実用的に展開するだけでも、まもなく大きな問題になるでしょう。

Superalignment研究については以下のような研究が進んでおり、解決される可能性はある
- スケーラブルな監視手法：AI同士の相互監視や、AIアシスタントによる人間の支援で、部分的な超知能の行動を監視する
- 解釈性の向上：内部の推論過程を「読み解く」技術（機械的解釈、トップダウンアプローチ、Chain-of-thoughtの利用など）を強化する。
- 自動化されたアラインメント研究：ある程度信頼できる超知能を使って、さらに高度なアラインメント問題に取り組む。
- スーパー防衛策：セキュリティの強化、監視システムの整備、特定能力の制限など、万一の失敗が大惨事にならないよう多層的な防御策を講じる。
ただ、AGIが開発された後、知能爆発が起こって1年以内にASIが実現するスケジュールだと、Superalignment側を用意する時間がないため、危険

IIId. The Free World Must Prevail

IIIdの結論

ASIを最初に手にした国が決定的な軍事的優位を持つ、それがアメリカでなければならない
もし均衡しているASI開発競争状態になったら、Superalignmentがないがしろにされ、ASIによって人類が破壊される可能性がある

超知性は決定的な経済的・軍事的優位を与えるだろう。中国はまだゲームから脱落していない。AGIへの競争では、自由世界の生存そのものが問題になる。

ASIの軍事的な重要性

人工超知能は、人類が開発してきた最も強力な技術であり、最も強力な武器になるでしょう。これは決定的な軍事的優位性を与え、核兵器と比肩されるかもしれません。権威主義者は、世界征服や内部の完全な支配に人工超知能を使うことができます。暴走国家は、それを使って全面的な破壊を脅かすことができます。

数ヶ月の差がAGIとASIくらいの大きな差になる可能性がある

知性爆発が急速に起こった場合、わずか数か月の差が決定的になる可能性がある:数か月の差が、ほぼ人間レベルのAIシステムと実質的に超人工知能レベルのAIシステムの違いになる可能性がある。

核兵器すら無効化する
核兵器とは違って相手を一方的に制圧できる

「お互いを相互に破壊できる」という核の意味での勝負にならないだけでなく、ライバルの軍事力を重大な損害を被ることなく完全に壊滅させるという意味での勝負にもなりません。

ASIによって永遠の独裁国家が成立する可能性

超知能を操る独裁者は、これまでに見たことのない集中的な権力を持つことになる。他国への意思の強制に加え、内部でも自らの支配を固めることができる。数百万のAI制御の警察ロボットが国民を監視し、監視技術が極度に強化され、独裁者に忠実なAIが個々の市民の反逆を完璧に見抜くことができるようになるだろう。

最も重要なのは、ロボット軍警察部隊が単一の政治指導者によって完全に支配され、完璧に服従するようプログラムされることだ。これにより、クーデターや民衆蜂起のリスクがなくなる。

過去の独裁政権は永続的ではなかったが、超知能はほとんどすべての歴史的な独裁者支配の脅威を排除し、その権力を固定化することができる

IV. The Project

IV.の結論

AGI開発競争は2027年頃までにスタートアップでは扱いきれない、国家レベルの問題になる

AGIの競争が激化するにつれ、国家安全保障体制が関与してくるでしょう。政府は目を覚まし、27/28年までにある種の政府主導のAGIプロジェクトが立ち上がるでしょう。スタートアップでは超知性を扱えません。どこかの機密保護施設で、最終局面が始まるのです。

AI開発を民間企業が担っている現状は異常

私は、米国政府がランダムなSFスタートアップに超知能の開発を任せるという提案が狂気の沙汰だと考えています。

過去の多くの科学者たちと同様に、サンフランシスコの偉大な頭脳たちは、自分たちが生み出している「悪魔」の運命をコントロールできると望んでいる。現在のところ、彼らにはまだその力がある。なぜなら、彼らは状況認識を持ち、自分たちが何を作り上げているのかを理解している数少ない者たちのうちの一人だからである。しかし、数年後には、世界が目を覚ます。同時に国家安全保障の機関も目覚めるだろう。そして歴史が堂々と帰還する。

企業ではなく政府主導で、なんなら民主主義国家の連合で取り組むべき

政府が指揮系統を確立し、CEOや非営利団体が核ボタンを押すことのないよう管理する必要がある。政府が超知能の深刻な安全上の課題、情報爆発の戦争の霧を管理する必要がある。政府が民主主義国家の連合を結成し、世界中での拡散を阻止する体制を構築・執行する必要がある。

そのうち国家レベルのプロジェクトになる

2025年頃に世界が気づく

2025年頃には、次の本当に衝撃的な変化が起こると予想します。

10兆ドル企業の出現とAIブームが世界中に広がるでしょう。それでも足りないなら、2027年頃には、100億ドル以上のクラスターで訓練されたモデルが登場し、ソフトウェアエンジニアリングやその他の知的仕事を自動化する本格的なAIエージェントやリモートワーカーが登場し始めるでしょう。

多くの人がまだAGIの可能性を見ていませんが、やがてコンセンサスが形成されるでしょう。

中国共産党がこれに気づき、強力なAGI開発に乗り出すことは確実でしょう。いずれアメリカのトップAI研究所への中国共産党の浸透が発覚し、大きな波紋を呼ぶことになるでしょう。

26/27頃になると、ワシントンの雰囲気は重苦しくなるでしょう。人々は起こっていることを本能的に感じ始め、恐怖を感じるようになります。これは原子爆弾の発明以来の最も重要な国家安全保障上の課題だと明らかになっていきます

原子爆弾の時も同じだった

シラードのような人は、他の人よりもはるかに早く原子爆弾の可能性を見ていました。彼らの警告は当初受け入れられませんでした。爆弾の可能性は遠い存在と軽視されていました

シラードの熱心な秘密保持の訴えは嘲笑され無視されました。しかし、当初懐疑的だった多くの科学者が、次第に経験的な結果が蓄積するにつれ、爆弾が可能であることを認識し始めました。科学者の大多数が爆弾の可能性を信じるようになると、政府も国家安全保障上の緊急性が大きすぎると判断し、マンハッタン計画が始まりました。

V. Parting Thoughts

Vの結論

AGIリアリズムを持つべきだ

今、世界にはたぶん数百人しかいない、私たちに何が起ころうとしているかを理解している人、状況を把握している人がいる。私は、おそらくプロジェクトを運営できる可能性のある人全員と個人的に知り合いか、1度の関係がある。幾人かの裏方が必死に状況の悪化を防ごうとしているのは、あなたとあなたの仲間、そして彼らの仲間だけだ。それ以外はいない。

1941年の春を今でも覚えています。当時、核爆弾は可能であり、不可避的であると気づきました。いずれこの考えは我々だけのものではなくなり、ある国がそれを実行に移すだろうと。

それについて誰にも話せず、眠れない夜が続きました。しかし、それがとても深刻なことだと理解していました。そのため睡眠薬を飲み始めました。それ以来28年間、ほとんど1晩も欠かしたことがありません。

ジェームズ・チャドウィック (物理学のノーベル賞受賞者で、1941年の英国政府の原子爆弾の不可避性に関する報告書の著者、これがついにマンハッタン計画を始動させた)

AGIの議論における3つのポジション

悲観論者

人類が滅亡すると思い込み、AIの開発停止を求めるのは正しくない

彼らの思考は硬直化し、ディープラーニングの経験的な現実から遊離し、提案は単純で実行不可能で、極端な権威主義の脅威に取り組めていません。99%の確率で破滅すると狂ったように主張し、AIの無期限の停止を呼びかけるのは明らかに正しい道ではありません。

e/accs (effective accelerationists) 効果的加速主義者

「加速主義」というのは、現在の社会や経済、技術の発展をむしろそのまま進めるのではなく、あえて速度を速めることで現状の矛盾や限界を露呈させ、最終的には根本的な変革を促すという思想です。

「効果的加速主義者（e/accs）」は、単に物事を加速させるだけでなく、その加速が実際に望ましい（または有益な）結果をもたらすよう、戦略的かつ実践的な方法で推進しようとする人たちを指します。つまり、現状を打破し革新を生み出すために、加速する力を効果的に利用しようとする立場や行動を意味します。

AIの進化を肯定するが、結局はAI Wrapperのスタートアップを立ち上げたいだけの人達

AGIリアリズム

ASIは国家安全保障の問題である

超人工知能は国家安全保障の問題です。私たちは、最も賢い人間よりも賢い機械を急速に構築しています。これは、クールなシリコンバレーのブームではありません。これは、無害なオープンソースソフトウェアパッケージを書いているランダムなコミュニティでもありません。これは、楽しみや遊びではありません。
アメリカが主導しなければならない

安全なASIを実現するためにはアメリカのリーダーシップが唯一の道筋である。アメリカのAGIクラスターを構築するために、米国の発電能力を急速に拡大する必要がある。セキュリティを国家レベルで強化する必要がある
人類の滅亡を防ぐ必要がある (Superalignmentの重要性)

私たちは台無しにしてはいけません。超知性の力を認識することは、その危険性も認識することを意味します。非常に現実的な安全上のリスクがあります。人類がASIの力を相互の絶滅のために使用するか、私たちがまだ完全に制御できない異星種を呼び出すかのいずれかで、すべてが狂ってしまうリスクがあります。これらは管理可能ですが、即興では通用しません。これらの危険を航行するには、これまで提供されたことのない真剣さをもたらす良い人々が必要です。