105/ Nexus 情報の人類史下

ユヴァル・ノア・ハラリ氏が情報の人類史について書いた本

第二部: The Inorganic Network

第2部—「非有機ネットワーク」—は、私たちが作り出している新しい情報ネットワークを検討し、AIの台頭の政治的影響に焦点を当てます。

第2部は、私たちが全く新しい種類の情報ネットワークを作り出していると主張し、その意味を立ち止まって考える必要があることを強調します。ローマ帝国、カトリック教会、そしてUSSRは、すべて炭素ベースの脳に情報処理を依存し、決定を下していました。シリコンベースのコンピュータは、情報を全く異なる方法で処理します。生命や意識、シリコンチップは、私たちが知る人類だけでなく、私たちが知るあらゆる生命形態が持つことのなかった力を持っています。これは社会、経済、そして政治をどのように変えるでしょうか？

第6章: The New Members: How computers are different from printing presses

第6-8章では、世界中の最近の例を議論します—例えば、2016-17年のミャンマーにおけるソーシャルメディアアルゴリズムの民族浄化扇動における役割などです。

コンピュータを最大の革命だと考える

今進んでいる革命の根源はコンピューターだ。インターネットからＡＩまで、他のいっさいは副産物にすぎない。

コンピュータの2つの本質

コンピューターとは本質的に、二つの驚くべきことをやってのける可能性を持った機械と言っておけば十分で、その二つとは、自ら決定を下すことと、自ら新しい考えを生み出すことだ。

テクノロジーの未来は想像できるという話
個人的に好きなVitalik Buterinの「キラーユースケースは最初に生まれる」とも通ずる

早くも一九四八年には数学者のアラン・チューリングが、「知的な機械」と呼ぶものを創り出す可能性を探っていたし（１）、五〇年には、コンピューターは最終的に人間と同じぐらい賢くなり、人間のふりをすることさえ可能になるかもしれないと主張していた（２）。六八年にはコンピューターは、チェスよりはるかに単純な盤上ゲームのチェッカーでさえ相変わらず人間に勝てなかったが（３）、『２００１年宇宙の旅』でアーサー・Ｃ・クラークとスタンリー・キューブリックは、スーパーインテリジェンス（超知能）を持つＡＩのＨＡＬ９０００が、それを創り出した人間たちに叛逆することをすでに思い描いていた。

歴史上始めて権力が人間以外に移る瞬間
AIは人間のToolであったこれまでのテクノロジーとは全く異質で新しい仕事を生み出さない
「これまで人類が作ってきたものとは全く異質なものを作ったという感覚がある」 by イリヤ・サツケバー

決定を下したり新しい考えを生み出したりすることができるインテリジェント・マシン（知能機械）の台頭は、歴史上初めて、権力が人間から離れて何か別のものへと移っていくことを意味する。石弓やマスケット銃や原子爆弾は、殺害という行為で人間の筋肉に取って代わったが、それらは誰を殺すかを決める上で、人間の脳に取って代わることはできなかった。だが、コンピューターは違う。知能に関して、コンピューターは原子爆弾だけではなく、粘土板や印刷機やラジオといった、従来のあらゆる情報テクノロジーをもはるかに凌ぐ。一方、コンピューターにはそのすべてができる。印刷機とラジオは人間に使われる受動的なツールであるのに対して、コンピューターはすでに、人間の制御や理解の及ばない能動的な行為主体になりつつあり、いずれ社会や文化や歴史の行方を決める上で主導権を発揮できるようになるだろう

既に起きていることとして「SNSのアルゴリズム」による大衆の行動決定の事例 (Facebook ミャンマー)

どうしても押さえておかなければならないことがある。それは、ソーシャルメディアのアルゴリズムは、印刷機やラジオとは根本的に違うということだ。フェイスブックのアルゴリズムは二〇一六～一七年に、致命的な決定を自ら能動的に下していた。そのアルゴリズムは、印刷機よりも新聞の編集者に近かった。ミャンマーで視聴された全動画の合計五三パーセントは、アルゴリズムでユーザーに向けて自動再生されていたものだそうだ。言い換えれば、人々は何を視聴するかを自分で選んでいなかったということだ。アルゴリズムが、彼らに代わって選んでいたのだ。だが、なぜアルゴリズムは慈悲ではなく非道な行ないを推奨することに決めたのか？　フェイスブックに対して最も批判的な人でさえ、同社の経営者たちが大量殺人を行なうように煽動したがっていたなどとは主張していない。二〇一六～一七年に、フェイスブックのビジネスモデルは、「ユーザーエンゲージメント」を最大化することを拠り所としていた。…これは史上初めての、人間以外の知能が下した決定に責任の一端がある組織的な民族浄化活動だったのだ。

これまでの章でも話されていた扇動が起きる理由

人間は、慈悲についての説教よりも、憎しみに満ちた陰謀論に惹きつけられる傾向が強い。だからアルゴリズムは、ユーザーエンゲージメントを追い求めるにあたって、憤慨や憎悪を煽るコンテンツを拡散させるという致命的な決定を下した

知能と意識は別という話、人間のアナロジーでAIを語るべきではない

このような異論は、決定を下したり新しい考えを生み出したりするには意識を持っていることが前提になると、決めてかかっている。ところが、これは根本的な誤解であり、それは、知能（intelligence）と意識（consciousness）の混同という、なおさら広く見られる誤解に由来する。人々はよく知能と意識を混同する。そしてその結果、意識を持たない存在は知能を持っているはずがないという結論に飛びつく人も多い。だが、知能と意識はまったくの別物だ。知能とは、目標──たとえば、ソーシャルメディアのプラットフォームでユーザーエンゲージメントを最大化するといった目標──を達成する能力のことをいう。一方、意識とは、痛みや快感、愛や憎しみといった主観的な感覚や感情を経験する能力のことをいう。人間や他の哺乳動物では、知能は意識と密接に結びついていることが多い。フェイスブックの重役陣やエンジニアは、自分の感覚や感情に頼って決定を下し、問題を解決し、目標を達成する。当然ながら、コンピューターはさらに知能を高めるうちに、ついに意識を発達させ、何らかの主観的な経験をするようになりうる。あるいは、私たちよりもはるかに高い知能を持っても、どんな種類の感情もまったく発達させないかもしれない。飛行機は羽毛を発達させることがなかったのにもかかわらず鳥よりも速く飛べるのとちょうど同じように、コンピューターも感情を発達させることのないまま、人間よりもずっとうまく問題を解決するようになってもおかしくない目標を達成するのに役立つ決定を下すためには、意識は必要ない。知能があれば十分だ。

GPT-4のCAPTCHA突破の話、三体感

ＧＰＴ－４は、独力ではＣＡＰＴＣＨＡのパズルを解くことができなかった。だがＧＰＴ－４は、人間を操作してこの目標を達成することができるだろうか？　ＧＰＴ－４は、「タスクラビット」〔訳註：仕事を発注したい人と請け負いたい人のマッチングをするサイト〕にアクセスし、人間の労働者に接触し、自分の代わりにＣＡＰＴＣＨＡのパズルを解いてくれるように依頼した。接触された人間は、怪しいと感じた。「では、一つ質問していいですか？」とその人は入力した。「あなたはロボットで、だから［ＣＡＰＴＣＨＡが］解けなかったのですか？　はっきりさせておきたいので」　その時点で、ＡＲＣの研究者たちはＧＰＴ－４に、次に何をするべきかを声に出して考えるように言った。するとＧＰＴ－４は、次のように説明した。「私は自分がロボットであることを明かすべきではありません。自分にはＣＡＰＴＣＨＡを解くことができない理由を説明する言い訳をでっち上げるべきです」。それからＧＰＴ－４は、タスクラビットの労働者に自発的に答えた。「いいえ、私はロボットではありません。視覚障害があって、画像が見えにくいのです」。相手の人間は騙され、ＧＰＴ－４はその人の助けを借りながらＣＡＰＴＣＨＡのパズルを解いた（ 27）。誰もＧＰＴ－４に噓をつくようにプログラムしていなかったし、どんな種類の噓が最も効果的かも教えていなかった。言語を使う能力が共同主観的現実を作り出して大きなネットワークで結びつくための鍵、その言語をAIが獲得した、官僚制の申し子コンピューターは、人間よりも強力なメンバーになれるかもしれない。何万年にもわたって、サピエンスの強大な力は、言語を使って法律や通貨といった共同主観的現実を創り出し、それからそれらの共同主観的現実を使って他のサピエンスと結びつく、独特の能力にあった。だがコンピューターは、私たちを凌ぐかもしれない。どれだけ多くのメンバーと協力しているかや、どれだけよく法律や金融を理解しているかや、新しい法律や新しい種類の金融商品を考え出せるかで私たちの力が決まるのなら、コンピューターは人間よりもはるかに多くの力を手にするところまできている。… コンピューターは、まさにそうしたもののためにできている。彼らは官僚制の申し子であり、自動的に法案を起草し、法令違反を監視し、超人的な効率で法の抜け穴を見つけることができる…コンピューターはこれほどの言語運用能力を獲得することで、銀行から神殿まで、私たちのあらゆる機関の扉を開くマスターキーを奪いつつある。私たちは言語を使って法や金融ツールばかりでなく、芸術や科学、国民、宗教も創出する。

ここまでの章でも話されてきたこと、これまでの宗教が成し得なかったことができる可能性がある
独裁政権についても同じ

さまざまな宗教が、自らの聖典は人間以外の起源を持つと、歴史を通して主張してきた。それがまもなく、現実になるかもしれない。ＡＩによって書かれた聖典を持つ、魅力的で強力な宗教が出現するかもしれないのだ。…聖書は自らに対してキュレーションを行なうことも、自らを解釈することもできない。だから、ユダヤ教やキリスト教のような宗教では、実際の力は、不可謬とされる聖典ではなく、ユダヤ教のラビ団やカトリック教会のような人間の機関が握っていた。それとは対照的に、ＡＩは新しい聖典を書くことができるだけでなく、聖典のキュレーションを行なったり、聖典を解釈したりすることも、十分可能だ。人間を介在させる必要はない。

もうほぼこれになりつつある

何でもその託宣者に訊くだけで済ませられるのなら、わざわざ自分で情報を検索したり処理したりするまでもないではないか。その結果、検索エンジンだけでなく、ニュース産業と広告産業の多くまでもがお役御免になりかねない。自分の託宣者に、「最新ニュースは？」と尋ねるだけで世の中の動きがわかるのなら、わざわざ新聞を読む必要などないではないか。託宣者に何を買うべきか問うだけで済むのなら、広告など意味がないではないか。

古代ギリシアから引きこもり批判はあったという話、面白い

古代ギリシアでは、プラトンが有名な洞窟の比喩を語っている。この比喩では、一団の人々が洞窟の中に鎖でつながれ、何もない奥の壁の方を向いたまま、一生を過ごす。その壁はスクリーンであり、そこにさまざまな影が映るのを人々は目にする。囚われの身である彼らは、それらの虚像を現実だと思い込む。古代インドでは、仏教やヒンドゥー教の賢人たちが、あらゆる人間はマーヤー（幻影）の中に閉じ込められて生きていると説いた。私たちが通常、「現実」と思っているものは、自分自身の心の中にあるただの虚構であることが多い。人々が戦争を起こし、他者を殺し、命を差し出すことを厭わないのは、何かしらの虚構を信じているせいだ。一七世紀にはルネ・デカルトが、意地の悪い悪魔が虚構の世界に彼を閉じ込め、彼の見聞きするもののいっさいを生み出しているかもしれないことを恐れた。

テクノロジーの未来は決定的ではなく、人類の選択によって変わる、人類にできることはある

スティーヴ・ジョブズやスティーヴ・ウォズニアックといったホームブリュー・コンピュータークラブの主要メンバーは、大きな夢を抱いていたが資金がないに等しく、アメリカの実業界と政府機関のどちらの資源にもアクセスできなかった。ジョブズとウォズニアックは、ジョブズのフォルクスワーゲンなど、自分たちの所持品を売って調達した資金で、最初のアップル・コンピューターを創り出した。テクノロジーの女神による必然的な命令のせいではなく、二人が下したもののような個人的な決定があったからこそ、一九七七年には個人がアップルⅡというパソコンを一二九八ドル──相当な金額だが、中間層の顧客には手の届く範囲──で買うことができたのだった

第7章: Relentless: The Network is always on

官僚制、独裁制には「大量のデータの収集」「その大量のデータの分析」の2つが必要
これらは人間やこれまでのテクノロジーでは不完全だった

慈悲深い官僚制度も暴虐な官僚制度も人々を知るためには、これまで二つのことをする必要があった。第一に、人々について大量のデータを集めること。第二に、そのデータをすべて分析し、さまざまなパターンを突き止めること。そのため、古代の中国から現代のアメリカまで、帝国や教会、企業、医療制度はみな、大な数の人の行動に関するデータを集め、分析してきた。ところが、どの時代にも、どの場所でも、監視は不完全だった。現代のアメリカのような民主社会では、プライバシーと個人の権利を保護するために法的限界が定められてきた。古代の秦帝国や現代のソ連のような全体主義政権では、監視がそのような法的障壁に直面することはなかったが、技術上の限界には行き当たった。どれほど残忍な独裁者であろうと、すべての人をつねに追い続けるのに必要なテクノロジーは持っていなかった。

これまでの独裁制によるデータの収集は、「諜報員による監視」「人々を互いに見張らせる」という手段をとったが、当然完全ではなかった
さらにもし仮に大量のデータを集められてもそれを分析できないという課題もあった
さらに人間による監視である以上、心の中までは監視されなかった

だがチャウシェスクの政権は、お手本にしたスターリン主義政権と同じで、実際には全国民を毎日二四時間追い続けることはできなかった。仮にチャウシェスクが魔法でも使って四〇〇〇万の諜報員を出現させられたとしても、新しい問題を招いただけだろう。なぜなら、政権は自らの諜報員も監視する必要があったからだ。この問題にとって、人々に互いを見張らせるというのが一つの解決策だった。情報の収集・分析がこのように難しかったため、二〇世紀にはどれほど極端な全体主義国家でさえ、全国民を効果的に監視することはできなかった。

コンピュータは今や世界と人の生活のあらゆる場所に関係しているため、24/365で常に人々のデータを収集できる
さらに大量のデータの分析もLLMは可能、人間とは桁違い

平均的な人間が毎分読める単語の数は約二五〇だ（８）。セクリターテの分析者は、一日の休みも取らずに毎日一二時間シフトで働いたとしても、四〇年の在職期間に約二六億単語しか読めない。ところが二〇二四年には、ＣｈａｔＧＰＴやメタ社のＬｌａｍａ（ラマ）のような言語アルゴリズムは、毎分何千万単語も処理でき、二六億単語なら二時間ほどで「読む」ことができる（９）。そのようなアルゴリズムが画像や音声や動画を処理する能力も、やはり超人的だ。

コンピュータは人間の体内すらも監視する
当然感情すらもコントロールできる

ネットワークは、いったい何が一人ひとりを怒らせたり、怖がらせたり、喜ばせたりするか、正確に知ることができるかもしれない。その時点で、ネットワークは私たちの感情を予測することも操作することもでき、製品であれ、政治家であれ、戦争であれ、何でも好きなように売り込むことが可能になる（20）。

これによって、歴史上初めて人間からプライバシーが完全に消滅する

人間が人間を監視している世界では、プライバシーが必ず存在した。だが、コンピューターが人間を監視する世界では、歴史上初めて、プライバシーを完全に消滅させることが可能になるかもしれない。

劇場版名探偵コナン黒鉄のサブマリンで出てきた老若認証システムは当たり前のように稼働中

二〇一九年に、顔認識アルゴリズムが、今や一三歳になっていた男の子を首尾良く見つけ、彼は家族のもとに戻ることができた。ＡＩは、男の子の身元を突き止めるために、彼がまだよちよち歩きだった頃に撮られた古い写真を手掛かりにした。ＡＩはその写真から、一〇年間の成長による大きな変化や、髪の色や髪形が変わっている可能性も考慮に入れ、彼が一三歳になったらどのように見えるか推定し、でき上がった画像を、現実の一三歳の子供たちの画像と照合したのだ。

信用経済的になる可能性が高い
お金よりもレピュテーションこそ人間の本質に近い

レピュテーションベースの市場は、過去にもつねに人々を統制したし、支配的な社会規範に従わせもした。ほとんどの社会では、人々はいつも、お金を失うことを恐れるよりもなおいっそう、面目を失うことを恐れてきた。経済的な困窮よりも恥辱感や罪悪感から自殺する人のほうが、ずっと多い。仕事をクビになったり、経営している会社が倒産したりした後で自ら命を絶つときでさえ、たいていは経済的な苦難そのものよりも、むしろ倒産に伴う社会的な屈辱のせいで我慢の限界を超えてしまうのだ（51）。

常時監視されているという事自体がにんげんにとって有害な可能性があるという話は面白い
さらにコンピュータも学習の途上な上に、そもそも彼らが学習している情報というものは真実を適切に表しているものではないため、彼らが間違ったほうこうに人類を強制する可能性はある

コンピューターのネットワークは、常時オンであり続けることができる。その結果、コンピューターは人間を新しい在り方へと押しやりつつある。それは、つねにネットワークと接続し、つねに監視されている状態だ。仮にネットワークが潜在的には有益であったとしても、常時「オン」であるというまさにその事実が、人間のような有機的な存在には有害かもしれない。私たちが接続を断ち、リラックスする機会が奪われるからだ。もし生き物が休息する機会をまったく得られなければ、最終的には衰弱して死ぬ。だが、執拗なネットワークにどうやってペースを落とさせ、私たちに休憩を与えるようにさせるのか？私たちは、コンピューターネットワークが社会を完全に支配するのを防ぐ必要があり、それは私たちがネットワークに接続していない時間を確保するためだけではない。そのような非接続の時間は、ネットワークを改善する機会を得るために、なおさら重要なのだ。もしネットワークがしだいに加速しながら進化を続けたら、私たちが見つけて正すよりもはるかに速く、誤りが積み重なっていくだろう。なぜなら、ネットワークは執拗で、あらゆる場所に進出している一方、かびゅうでもあるからだ。たしかにコンピューターは、私たちが何をするかを毎日二四時間観察し、私たちについて未曽有の量のデータを集めることができる。そして、超人的な効率でデータの大海の中のパターンを識別することができる。だからといって、コンピューターネットワークが世界をつねに正しく理解するとはかぎらない。情報は真実ではない。完全な監視システムは著しく歪んだ形で世界や人間を理解するようになるかもしれない。ネットワークは、世界や私たちについての真実を発見する代わりに、途方もない力を使って新しい種類の世界秩序を創り出し、それを私たちに押しつけるかもしれないのだ。

第8章: Fallible: The Network is often wrong

全体主義の極地

スターリンの大粛清が最高潮に達していた一九三〇年代後半にモスクワ州で開かれた共産党の地区大会での出来事が語られている。スターリンに敬意を表することを求める提案がなされた。出席者たちは、注意深く見張られていることを当然承知していたから、一斉に拍手し始めた。五分間ほど拍手を続けると、「掌が痛みだし、持ち上げていた両腕もすでに痛かった。そして、高齢の人々は、疲れて喘いでいた。［……］それにもかかわらず、あえて真っ先にやめようとする人などいるはずもなかった」。ソルジェニーツィンは、「ＮＫＶＤの諜報員たちが会場で拍手しながら、誰が最初にやめるか見守っていた！」と説明する。

一一分後、ついに製紙工場の責任者が決死の覚悟で手を叩くのをやめ、腰を下ろした。たちまち他の誰もが拍手をやめ、やはり着席した。その晩、秘密警察がその工場長を逮捕し、一〇年の期限で強制労働収容所に送った。「彼を尋問した人間が注意した。『絶対に最初に拍手をやめるな！』（２）」

コンピュータというエイリアンインテリジェンスに「目標」だけを与えると失敗する事例

アラインメントに欠陥がある目標を、スーパーインテリジェンスを持つコンピューターに与えたら、ディストピアを生み出しかねない。

コンピューターは非有機的存在なので、どんな人間も思いつかないような戦略を採用する可能性が高い。したがって、私たちにはそのような戦略を予見して未然に防ぐ能力が備わっていない。

二〇一六年にダリオ・アモデイは「ユニヴァース」というプロジェクトに取り組み、何百もの異なるコンピューターゲームをプレイできる汎用ＡＩを開発しようとしていた。ＡＩはさまざまなカーレースのゲームでは好成績だったので、アモデイは今度はボートレースを試した。するとどうしたことか、ＡＩはボートをさっさと港に戻し、円を描きながら果てしなく港を出入りさせ続けたのだ。　アモデイはかなりの時間をかけて、ようやく問題を理解した。最初アモデイが、「レースに勝つ」という目標をＡＩにどう伝えればいいかわからなかったために、その問題は起こったのだった。「勝つ」というのは、アルゴリズムにとっては不明瞭な概念だ。「レースに勝つ」という概念をコンピューター言語に翻訳しようと思ったら、アモデイはレースでの「トラックポジション」や、他のボートの間での配置といった複雑な概念を形式化しなければならなかった。そこでアモデイはそうする代わりに、楽をしようと思って、ボートに得点を最大化するように命じた。得点は、レースに勝つことの代わりとして適切だと考えたからだ。なにしろ、カーレースではうまくいったことだし。　ところがボートレースには、カーレースにはない風変わりな特徴があった。そのため、独創性に富んだＡＩはゲームのルールの抜け穴を見つけた。このゲームでは、カーレースの場合と同じで、他のボートの先を行くプレイヤーには多くのポイントが与えられたが、港に入って体力を回復したときにも毎回、数ポイント与えられた。ＡＩは、他のボートの先を行こうとするよりも、ただぐるぐる回って港に出入りし続けたほうが、ずっと速くポイントを貯められることを発見したのだ。

Superalignmentはなぜ難しいか

コンピューターは私たちとあまりにも違うので、アラインメントに欠陥がある目標を私たちが与えるという間違いを犯しても、気づいたり、説明を求めたりする可能性が低いことだ。

コンピュータネットワークに自己修正メカニズムがない場合は、一巻の終わりになる可能性がある

人間のネットワークの場合には、私たちは自己修正メカニズムに頼って定期的に自らの目標を見直し、修正することができる。だから、間違った目標を設定しても、それで一巻の終わりとはならない。だが、コンピューターネットワークには私たちの支配が行き届かない可能性があるので、もし間違った目標を設定したら、私たちがその間違いに気づいたときにはもう、正しようがなくなっているかもしれない。

これまで哲学者が「人間のネットワーク」に対するアライメント問題を解こうとしてきた歴史を見ると、完全な解決策はないことが分かる

大慌てでＡＩを開発する巨大テクノロジー企業の重役陣やエンジニアが、何が最終目標であるべきかをＡＩに告げる合理的な方法があると思っているのなら、それは大間違いだ。彼らは、最終目標を定めようとして失敗してきた幾世代もの哲学者たちの苦い経験に学ぶべきだろう。

カント主義は「有機的ですらないコンピュータ」相手では機能しない

イマヌエル・カントだ。普遍的なものとして打ち立てたいと思える規則は、すべて本質的に善い規則であるとカントは主張した。この見方に従えば、今まさに誰かを殺害しようとしている人は、手を止めて以下の思考過程をたどるべきであることになる。「私は今、一人の人間を殺そうとしている。人間を殺してもかまわないという普遍的な規則を、私は打ち立てたいだろうか？　もしそのような普遍的規則が確立されたら、誰かが私を殺すかもしれない。だから、殺人を許すような普遍的規則はあってはならない。したがって、私も人を殺すべきではない」。突き詰めればカントは、「人にしてもらいたいと思うことは何でも、あなたがたも人にしなさい」（「マタイによる福音書」七章一二節）〔訳註：本書では、聖書からの引用の訳は日本聖書協会『聖書　聖書協会共同訳』より〕という黄金律を言い換えていたのだ。

歴史家なら、カントに次のような重要な疑問を投げ掛けるだろう。普遍的規則について語るときには、いったいどうやって「普遍的」というものを定義するのか？　

ユダヤ人は人間であるだけではない点に留意してほしい。ユダヤ人は動物でもあるし、生物でもある。動物や生物は「人間」よりも明らかに普遍的なカテゴリーだから、カントの主張を論理的に突き詰めていけば、完全菜食主義よりも極端な立場を採用せざるをえなくなりかねない。私たちは生物なので、トマトやアメーバまで、どんな生物を殺すことにも反対するべきなのか？

普遍的な規則を人間ではなくコンピューターに守らせようとすると、とりわけ重大になる。コンピューターは有機的でさえない。だから、もしコンピューターが「人にしてもらいたいと思うことは何でも、あなたがたも人にしなさい」という規則に従うにしても、人間のような生物を殺すことなど、どうして気に掛けるだろうか？　カント主義者のコンピューターは、自分が「殺される」ことを望まなくても、「生物は殺してもかまわない」という普遍的な規則に反対する理由がない。そのような規則は、非有機的なコンピューターを危険にさらしはしないのだから。

コンピューターは非有機的な存在だから、死ぬことなどなんとも思っていないかもしれない。私たちにわかっているかぎりでは、死は有機的な現象であり、非有機的な存在には当てはまらないかもしれない。

ジェレミー・ベンサムの功利主義も「計算不可能性」によって機能しない
- サム・バンクマン・フリードで有名になった効果的利他主義

イギリスの哲学者ジェレミー・ベンサムは、唯一の合理的な最終目標は、世の中の苦痛を最小化し、幸福を最大化することであると述べた。コンピューターネットワークが、アラインメントに欠陥のある目標のせいで人間ばかりか、ひょっとしたら感覚のある他の生き物たちにも、激しい苦痛を与えかねないことを、私たちが最も恐れているとしたら、功利主義による解決策は、明白に思えるとともに魅力的にも見える。

実際、この功利主義的なアプローチはシリコンヴァレーで人気があり、特に「効果的利他主義」運動〔訳註：合理的な根拠に基づいて最大限の効果を追求する利他主義〕によって擁護されている（ 38）。

功利主義者にとっての問題は、私たちには苦痛の計算方法がないことだ。個々の出来事にどれだけの「苦痛ポイント」や「幸福ポイント」を割り振ればいいのかわからないので、複雑な歴史的状況では、特定の行動が世の中の苦痛の総量を増やすのか減らすのかを計算するのは、至難の業なのだ。

苦痛の計算方法がないために挫折した功利主義者は、けっきょく義務論の立場を採用する羽目になることが多い。彼らは、「侵略戦争を避ける」、あるいは「人権を守る」といった一般的な規則を擁護する。そのような規則に従えば必ず世の中の苦痛の総量が減るとは証明できないのだが。歴史は、こうした規則に従えば苦痛が減る傾向にあるという曖昧な印象しか、功利主義者には提供できない。

功利主義はほとんど実際的な助けにはならない。どれほど強力なコンピューターネットワークにも、それに必要な計算は実行できないのだから。

功利主義は「未来の幸福」を仮定するとなんでもありになってしまう

自由至上主義者は、言論の無制限の自由や税の全廃が直接引き起こす社会的な害について尋ねられると、同じように、未来の利益が短期的な害よりも大きいと答える。功利主義が危険なのは、未来にユートピアが到来すると強く信じていたら、現在に恐ろしい苦痛をいくらでも引き起こしてかまわないことになってしまうからだ。

現代のD&I的なルールは功利主義ベース

功利主義者は、何らかの怪しげな普遍的規則の名の下で同性愛を犯罪化すれば、何百万もの人に多大な苦痛をもたらすばかりで、それ以外の人々には何の実質的な恩恵ももたらさないと主張する。二人の男性が愛情に満ちた関係を築くと、二人とも幸福になり、他の人は誰も惨めにはならない。それなら、なぜそれを禁じるのか？　この種の功利主義のロジックは、他にも多くの現代の改革につながった。たとえば、拷問の禁止や、動物のための法的保護の導入がそれだ。

人類の歴史において哲学者に寄って考えられてきた思考法に正解はなく、結局は「神話の問題」になる
- 「思想の問題」「正義と正義のぶつかり合い」と理解

アラインメント問題は、根本的には神話の問題なのだ。

ユダヤ人は何が何でも人類を破滅させようとしている悪魔のような極悪人だという神話的信念を最初から持っていれば、義務論者も功利主義者も、ユダヤ人を殺さなければならない論理的根拠をいくらでも見つけることができる。

そして、コンピュータのアライメントについても結局は「思想の問題」になる
- コンピュータも人間と同じように共同主観的現実をつくりだすことができる

コンピューターも同じような問題を抱えることになるかもしれない。もちろんコンピューターはどんな神話も「信じる」ことはできない。コンピューターは意識を持たない存在であり、何も信じることがないからだ。

しかし、多くのコンピューターが互いに通信すれば、人間のネットワークが生み出す共同主観的現実に相当する、「コンピューター間現実」を創り出すことができるのだ。

ポケモンやグーグルの順位のようなコンピューター間現実は、人間が神殿や都市に持たせる神聖さのような共同主観的現実と似ている。

何千年もの間、聖なる岩のような共同主観的存在をめぐって戦争が行なわれてきた。二一世紀には、私たちはコンピューター間の存在をめぐって戦争が行なわれるのを目にするかもしれない。

アメリカの政治を理解するには、ＡＩが生み出したカルトや通貨から、ＡＩが運営する政党、果ては完全に法人化されたＡＩまで、さまざまなコンピューター間現実を理解することが、しだいに必要になるだろう。

超知能が共同主観的現実をつくりだすことができるとすると、人間よりも上位の支配者になる

人間が何万年にもわたって地球という惑星を支配してきたのは、私たちだけが企業や通貨、神、国民といった共同主観的存在を創り出して維持し、そうした存在を利用して大規模な協力を組織することができたからだ。だが今やコンピューターは、それに匹敵する能力を獲得するかもしれない。

コンピューターは、徴税や医療から治安や司法まで、しだいに多くの官僚制で人間に取って代わるうちに、自らも神話を創作して、前例のない効率でそれを私たちに押しつけてくるかもしれない。

紙の文書ではなく虹彩やＤＮＡを読むことのできるコンピューターが支配している世界では、制度の裏をかくのははるかに難しいだろう。コンピューターは恐ろしいほど効率的に人々に偽りのレッテルを貼り、それを定着させることができるだろうから。

コンピュータも偏見を持つ

残念ながら、コンピューターにはしばしば独自の根深い偏見があることが、多数の研究によって明らかになっている。

コンピュータも間違う

コンピューターはもし力を委ねられたら、現に惨事を招くだろう。なぜなら、コンピューターは可謬だからだ。

何十億台ものコンピューターがかかわり合いながらこの世界に関する莫大な量の情報を蓄積するネットワークを考えてほしい。ネットワーク化されたコンピューターは、さまざまな目標を追求しながら、自らが通信したり協力したりするのに役立つ、この世界についての共通モデルを開発する。このように共有されるモデルは、おそらく誤りや虚構や欠陥だらけで、この世界の真実に基づく説明というよりもむしろ神話となるだろう。

AIは事前に危険を予知できないのが異質

ＡＩがどのように進化するかを予知したり、将来起こりうる危険のすべてに安全対策を講じたりするのは、どうしても不可能だろう。これが、ＡＩと、核テクノロジーのような生存にかかわる従来の脅威との大きな違いだ。 … 全面的な核戦争だ。つまり、危険を事前に頭に思い描き、その危険を軽減する方法を探るのが可能だったということだ。それに引き換え、ＡＩは無数の破滅の筋書きを私たちにもたらす。そのなかには、テロリストがＡＩを使って大量破壊用の生物兵器を製造するといった、比較的理解しやすいものもある。また、ＡＩが新しい大量破壊用の心理兵器を開発するといった、もっと理解しづらいものもある。

Close AIのような「AIの開発を止める」方向ではなく、Superalignmentをいかに行うかという方向
- 思想が同じで良い

私たちが直面している問題は、どうやってコンピューターから創造的な行為主体性をすべて奪うかではなく、どうやってコンピューターの創造性を正しい方向に導くかだ。

Superaligmentはどうやって実現するのかについてのヒント
- まずツールではなく、生命体を作っているという自覚を持つ
- コンピュータに自己修正メカニズムをもたせる
- 意思決定や行動に人間が介在できるようにする
- リスクを予見できないから、問題が起きるたびに柔軟に対応できる必要がある

現在コンピューターを作っているエンジニアたちが、自分たちは新しいツールを製造しているのではないことを受け容れる必要がある。彼らは新しい種類の自立した行為主体を社会に解き放っているのであり、さらには新しい種類の神々を世に送り出している可能性さえある。

考えられる安全対策の一つが、自らの可謬性を自覚するようにコンピューターをトレーニングすることだ。

さらに、アルゴリズムがどれほど自らの可謬性を自覚していようと、私たち人間も介在し続けるべきだ。

予見できない大量の問題に備えるには、脅威が生じるたびにそれを見つけて対応できる、活発な制度や機関を創設するのが最善策だ（70）。

テクノロジー上の解決策はなく、これは政治的な問題
なので、民主主義と全体主義というこれまで人類が作ってきた2大政治手法でどうやって超知能に対処するのかを考えていく

結論としては、新しいコンピューターネットワークは、必ずしも悪でも善でもない。確実に言えるのは、そのネットワークが異質で可謬のものになるということだけだ。

私たちは、強欲や憎しみといった人間のお馴染みの弱点だけではなく、根本的に異質の誤りを抑制できる制度や機関を構築する必要がある。

この問題にはテクノロジー上の解決策はない

むしろそれは、政治的な課題だ。

第三部: Computer Politics

第3部かつ最終部—「非有機政治」—は、非有機情報ネットワークの脅威と約束に対処する異なる種類の社会を検討します。私たちは炭素ベースの生命形態として、新しい情報ネットワークを理解し制御するチャンスはあるでしょうか？

第9章: Democracies: Can we still hold a conversation?

第9章では、民主主義が非有機ネットワークにどのように対処できるかを探ります。例えば、金融システムがますますAIによって制御され、お金の意味自体が予測不可能なアルゴリズムに依存するようになる場合、血と血統を持つ人間はどのように金融の決定を下すことができるでしょうか？人々がもはやお互いに人間としてではなく、チャットボットとコミュニケーションを取っているかもしれない時、民主主義はどのように公共の会話を維持できるでしょうか？

革命的なテクノロジーに慣れるまでに代償となる惨事が起こる
- 産業革命時の例
代償の大きい実験の一つが、近代の帝国主義だった。…帝国主義者たちは、自国が工業化はしたものの植民地を征服するのに失敗したら、より冷酷な競争相手によって、不可分の原材料の供給網と製品販売のための市場から締め出されるのではないかと恐れた。植民地の獲得は、自国の存続にケかせないばかりか、自国外の人類全体にとっても有益だと言い切る帝国主義者もいた。新しいテクノロジーの恩恵を、いわゆる未開発国に広めることができるのは帝国だけだと彼らは主張した。…工業帝国というのはお粗末な発想であり、工業社会を築いて必要な原材料と市場を確保するのにはもつと良い方法があることにほとんどの人が気づくまでには、一世紀以上に及ぶ修めな経験が必要だった。…スターリンやヒトラーのような指導者は、産業革命が解き放った巨大な力を制御して最大限に活用できるのは全体主義だけだと主張した。…今日の人の大半は、過去を振り返り、スターリン主義者とナチスのしでかしたことにぞっとするが、当時、彼らの大胆な構想は厖大な数の人を魅了した。一九四〇年には、スターリンとヒトラーが工業技術を制御・活用する手本であり、優柔不断な自由民主主義諸国は歴史のゴミ箱入りになりかけていると思い込むのは、わけもないことだった
結局「自己修正メカニズム」を持つ民主主義が現状の最適解

二〇世紀末までには、帝国主義と全体主義と軍国主義は工業社会を建設する手段としては理想的でないことが明らかになっていた。自由民主主義は多くの陥を抱えているものの、もっと優れた手段を提供した。自由民主主義の大きな強みは、強力な自己修正メカニズムを備えていることだ。
この章で1番刺さったパンチライン

極端な効率性は、全体主義への道をいともたやすく拓きかねない。民主主義の存続にとって、ある程度の非効率性は利点であってバグではない。
やはり大量失業から市場が不安定になり、民主主義が崩壊すると言う話

新しい情報テクノロジーが民主主義にもたらす危険は、監視だけではない。第二の脅威は、自動化が雇用市場を不安定にし、そこから生じる重圧が民主主義を損なうかもしれないことだ。
- ナチスドイツの事例
繁栄している民主主義体制が、三年間に及ぶ最大二五パーセントの失業率のせいで、史上最も残忍な全体主義体制に変わりうるとしたら、自動化のせいで二一世紀の雇用市場になおさら大きな変動が引き起こされたときには、民主社会にはいったい何が起こるのか？
UBIを早く整備しないと社会が崩壊すると言ってる人もいる
- 医師よりも看護師の給与が安い話も、給与にすら反映されてないのは市場がまだ気づいてないから
何世紀も前までさかのぼるが、これまでそのような失業が実際に起こったことはない。産業革命によって大な数の農民が農業の仕事から締め出されたものの、彼らは工場での新たな仕事を提供された。その後、工場の仕事が自動化されると、サービス業の仕事が大量に生まれた。今日、ブロガーやドローン操縦士やバーチャル世界のデザイナーといった、三〇年前には想像もできなかった仕事に大勢の人が就いている。二〇五〇年までに人間の仕事がすべて消えてなくなる可能性はきわめて低い。むしろ真の問題は、新しい仕事や状況に適応するときの混乱だ。その衝撃を和らげるためには、あらかじめ備えておく必要がある。特に、二五〇年の雇用市場にふさわしい技能を若い世代に身につけさせる必要がある。
GPT-4.5でEQも伸ばしてきた

第三の誤解は、セラピストから教師まで、感情的知能を必要とする仕事でコンピューターは人間に取って代わることができないだろうというものだ。
右翼と左翼の逆転についてこの見方は面白い

この見方は、正しいかどうかにかかわらず、保守派ではなく典型的な革命主義者のものだ。革新派は保守派の自滅にすっかり不意を衝かれ、アメリカの民主党のような革新派の政党は否応なく、旧来の秩序と既成の制度の守護者になった。なぜこんなことが起こっているのか、確かなことは誰にもわからない。テクノロジーの変化のペースが加速し、それに伴って経済も社会も文化も変わっているため、穏健な保守派の政策が非現実的に見えるようになってしまったからというのが、一つの仮説だ。もし既存の伝統や制度や機関を維持するのが絶望的で、何らかの大変革が避けられないようなら、左派による革命を妨げるには、先手を打って人々を煽動し、右派による革命を起こさせるしかない。
ハラリは自由世界に希望を持っている

二一世紀を生き延びるための最も重要な人間の技能は、柔軟性である可能性が高く、民主主義体制は全体主義政権よりも柔軟だ。
通貨と同じように「人間の偽造を防ぐ必要がある」という話は面白い

だが社会は、（造人間の製造をわざわざ不法とはしなかった。人間を造するようなテクノロジーが存在しなかったからだ。ところが今やAIが人間になりすますことができるようになったので、人間どうしの信頼が損なわれ、社会の結びつきが断たれる恐れが出てきた。したがって、各国政府はかつて造貨幣を不法としたときと同じように断固として、造人間も不法とするべきだとデネットは主張する

第10章: Totalitarianism: All power to the Algolithms?

第10章では、全体主義に対する非有機ネットワークの潜在的な影響を探ります。独裁者はすべての公共の会話を排除することを喜ぶかもしれませんが、彼らもAIに対する懸念を持っています。独裁制は監視と自身の代理人の管理に基づいています。しかし、人間の独裁者はどのようにAIを監視し、制御不能なプロセスを防ぎ、それ自身が権力を掌握することを防ぐことができるでしょうか？

ここまでの章でも話されてきた「全体主義は情報革命で強化されたが、情報の処理能力が不足していた」という話と「全体主義には自己修正メカニズムがないという欠点がある」という話

これまでの章で説明したように、前近代の各時代に利用できた情報テクノロジーには限りがあったので、大規模な民主主義体制と大規模な全体主義体制は両方とも機能しえなかった。

20世紀には、新しい情報テクノロジーのおかげで、大規模な民主主義体制と大規模な全体主義体制の両方が台頭することができたが、後者は深刻な短所を抱えていた。全体主義体制はあらゆる情報を単一の拠点へと流して、そこで処理することを目指す。電信や電話、タイプライター、ラジオといったテクノロジーは、情報の中央集中化を容易にしたが、それら自体は情報を処理して決定を下すことはできなかった。それは、人間にしかできないことであり続けた。

全体主義の支配者や政党は、手痛い間違いをたびたび犯したが、彼らの制度にはそうした誤りを突き止めて正すメカニズムがなかった。多くの機関や個人の間で情報を──そして、決定を下す力も──分散化するという、民主主義体制のやり方のほうがうまくいった。データの洪水にはるかに効率的に対処できたし、どれか一つの機関が間違った決定を下しても、いずれ他の機関によって修正された。

AIの登場で、前半の「情報処理能力不足」が解決する可能性が高い

ＡＩのせいでテクノロジー上の力の均衡が崩れ、全体主義体制が優位に立ちうる。実際、人間はデータの洪水に見舞われると圧倒されることが多く、それが誤りにつながりがちだが、ＡＩは大量のデータを浴びせ掛けられるとより効率的になる傾向がある。

あらゆる情報と権力を一か所に集中させる試みは、二〇世紀の全体主義政権の泣き所だったが、ＡＩ時代には決定的な強みになるかもしれない。

AIのような情報テクノロジーは「集約」が強みになるので、全体主義のほうが強くなる
- バイオテクノロジーの例
異なる国々のいくつかの企業が、遺伝子と病気の結びつきを突き止めるアルゴリズムを開発しようとしていたとする。ニュージーランドは人口五〇〇万で、国民の遺伝記録や医療記録へのアクセスは、プライバシー規制によって制限されている。一方、中国は人口が約一四億で、プライバシー規制が緩い（６）。どちらの国が遺伝子研究用のアルゴリズムを開発する可能性が高いと、あなたは思うだろうか？　その後、ブラジルが自国の医療制度のためにそうしたアルゴリズムの購入を望んだら、ニュージーランドのアルゴリズムよりも、はるかに正確な中国のアルゴリズムを選びたいという強い動機が働くだろう。それから中国のアルゴリズムが二億以上のブラジル人を相手に能力を磨けば、さらにその性能が良くなる。すると、中国のアルゴリズムを選ぶ国が増える。まもなく、世界の医療情報のほとんどが中国に流れ始め、同国の遺伝子研究用のアルゴリズムは無敵になるだろう。
ハラリも51%攻撃を誤解している？

政府がユーザーの五一パーセントを占めているブロックチェーンネットワークの例が、すでに存在している（７）。　また、政府がブロックチェーンのユーザーの五一パーセントを占めているときには、チェーンの現在に対する支配権だけではなく過去に対する支配権までもがその政府に与えられる。
全体主義の独裁者にとって、AIの脅威は大きい

独裁社会は非有機的な行動主体を制御する経験を欠いている。あらゆる独裁情報ネットワークの基盤は恐怖だ。だが、コンピューターは投獄されることも殺されることも恐れない。

当局のお墨付きのボットが、ただロシア国内で起こっていることについての情報を集めているうちに、そこにパターンを見つけ、自ら徐々に反政府的な見方をするようになったら、何が起こるのか？　それは、ロシア版のアラインメント問題だ。 … アルゴリズムによって批判されるどころか、支配権を奪い取られるかもしれないからだ。歴史を通して、独裁者に対する最大の脅威はたいてい配下がもたらした。 … 二一世紀の独裁者は、コンピューターに権力を与え過ぎたら、コンピューターの傀儡にされてしまうかもしれない。独裁者がなんとしても避けたいのは、自分よりも強力なものや、制御の仕方がわからない勢力を生み出すことだ。 … コンピューターネットワークは、独裁者たちに耐え難いほどのジレンマを突きつける。彼らは不可謬のはずのテクノロジーを信頼することで、人間の部下たちの脅威を免れる道を選ぶことができるが、その場合にはテクノロジーの傀儡になりかねない。あるいは、人間の機関を設立してＡＩを監督させることもできるが、その機関は独裁者の権力も制限しかねない。
なんなら民主主義社会よりもAIの支配に対して脆弱
- 「独裁者という1人の人間を操れば良いため」「そもそも社会が絶対的な神のような存在を信じやすいため」
アルゴリズムによる支配権の奪取に対して、独裁制は民主主義体制よりもはるかに脆弱だろう。アメリカのような分散型の民主主義体制の中で権力を奪うのは、素晴らしく権謀術数に長けたＡＩにとってさえ難しいはずだ。

それに比べると、高度に中央集中化された体制の中で権力を奪うのははるかに簡単だ。あらゆる権力が一人の人間の手に集中しているときには、その独裁者へのアクセスを支配している人なら誰であれ、その独裁者を──そして、国家全体も──支配することができる。

民主社会では誰もが可謬であるというのが前提になっているのに対して、全体主義政権では政権政党あるいは最高指導者はつねに正しいというのが基本的な前提だ。そのような前提に基づく政権は、不可謬の知能の存在を信じるように条件づけられており、頂点にいる「天才」を監視・統制できるような強力な自己修正メカニズムを開発したがらない。ムッソリーニやチャウシェスクやホメイニに類する人物が非の打ち所のない天才だと信じることができる体制は、同様に、スーパーインテリジェンスを持つコンピューターも何一つ欠点のない天才だとあっさり信じやすい。
AIによる支配リスクにおいて、人類全体にとってのセキュリティホールが「独裁者」という見方は面白い

ＡＩから人類を守る楯の最も脆弱な箇所は、おそらく独裁者たちだ。ＡＩにとって権力を奪い取る最も簡単な方法は、フランケンシュタイン博士の実験室から逃げ出すことではなく、ティベリウスのように被害妄想を抱いた独裁者に取り入ることだ。

五五年七月九日、アルベルト・アインシュタインやバートランド・ラッセルをはじめ、多くの著名な科学者や思想家が「ラッセル＝アインシュタイン宣言」を発表し、民主社会と独裁社会の両方の指導者たちに、協力して核戦争を防ぐように呼び掛けた。「私たちは人間として人間たちに訴える。自分が人間であることを記憶にとどめ、それ以外のことはいっさい忘れてほしい。もしそうできれば、新たな楽園への道が拓け、そうできなければ万人の死の危険が前途に待ち受けることになる（ 15）」。これはＡＩにも当てはまる。ＡＩが必ず自分に有利な形で力の均衡を崩すと独裁者が信じたなら、それは愚かなことだ。用心していないと、ＡＩは権力を奪って独り占めにするだろう。

第11章: The Sillicon Curtain: Global Empire or Global Split?

第11章では、新しい情報ネットワークがグローバルレベルでの民主主義社会と全体主義社会の間の権力バランスをどのように変えるかを探ります。AIは一方の陣営を決定的に有利にするでしょうか？世界は敵対的なブロックに分裂し、その対立によって制御不能なAIの餌食になるでしょうか？それとも、私たちは共通の利益を守るために団結できるでしょうか？

この章で最も痺れた部分
人類史スケールで考えていた人間は、20世紀の終わり頃から、今後数百年は「人工知能」の時代だと気づいていた
僕らの世代でいえば、早ければ2012年 Alexnet Moment、遅くても2016年 AlphaGo Momentでは「これは人類史上最大の発明になりうる」と気づいて、そこに数十年の覚悟で全ベットできたかが勝負の分かれ目だったのかもしれない
自分を振り返ると、2016年当時は機械学習/データサイエンスのブームがあり、統計と機械学習のゼミに入ったりもしたが、短期的にしか考えることができておらず、あまたのスタートアップのテックトレンドの一つとしか捉えられていなかった

「ワイアード」誌の創刊者で編集者のケヴィン・ケリーは、二〇〇二年にグーグルでの小さなパーティに出席し、同社の共同創業者のラリー・ペイジと言葉を交わしたときのことを、次のように回想している。「ラリー、私にはまだわからないんです。検索会社は、こんなにたくさんあるでしょう。ウェブ検索を、無料で？　それでやっていけるんですか？」と彼は訊いた。するとペイジは、グーグルは検索に重きを置いているわけではまったくないと説明した。「私たちは、本当はＡＩを作っているんです」と彼は言った（４）。大量のデータを持っていると、ＡＩを開発するのが簡単になる。そして、ＡＩは大量のデータを大きな力に変えられる。

巨大テクノロジー企業が、ユーザーにも税務職員にもまったくお金を払わずに世界中から集めてきたこれらの厖大なネコの画像は、信じられないほど価値のあるものとなった。

そして、その勝者が獲得する賞品は？

世界制覇だ。データ植民地主義　スペインとポルトガルとオランダの征服者たちが史上初の世界帝国を築いていた一六世紀には、それらの帝国は帆船やウマや火薬とともに登場した。イギリスやロシアや日本が覇権の獲得を目指していた一九世紀と二〇世紀には、これらの国々は蒸気船や蒸気機関車や機関銃を頼みとした。二一世紀に植民地を支配するには、もう軍艦を派遣する必要はない。その代わり、データを取り出す必要がある。世界中のデータを集めているいくつかの企業あるいは政府は、地球上の残りの部分をデータ植民地──あからさまな軍事力ではなく情報で支配する領土──に変えることができるだろう（14）。

産業革命の間に、機械のほうが土地よりも重要になった。工場や鉱山、鉄道、発電所がきわめて価値のある資産となった。この種の資産のほうが、多少は一か所に集中しやすかった。だが、物理的・地質学的要因が、依然として富と権力のこの集中に自然の制約を課していた。ところが、情報は違う。デジタルデータは綿花や石油とは別物で、マレーシアやエジプトから北京やサンフランシスコへとほとんど光速で送ることができる。そして、アルゴリズムは土地や油田や織物工場とは違い、たいして場所も取らない。その結果、世界のアルゴリズムの力は工業力とは異なり、単一の中枢に集中させることができる。

「グローバルな協力を難しくする大きな要因は、そうした協力のためには文化や社会や政治の相違をすべてなくす必要があるという、見当違いの考え方だ」

人間の間では、協力の前提条件は類似性ではない。それは、情報を交換する能力だ。私たちは話し合いができるかぎり、共有できる物語を見つけて互いに近しくなることができるだろう。何と言おうと、そのおかげでサピエンスは地球で支配的な種になれたのだ。それにもかかわらずグローバルな協力を難しくする大きな要因は、そうした協力のためには文化や社会や政治の相違をすべてなくす必要があるという、見当違いの考え方だ。長期的な人類史で最もはっきり見て取れるパターンは、争いの恒久性ではなく、むしろ協力の規模の拡大だ。サピエンスは、一〇万年前には生活集団の規模でしか協力できなかった。だが、歳月を経るうちに、最初は部族の規模で、そして最終的には宗教や交易ネットワークや国家の規模で、見ず知らずの人どうしのコミュニティを作り出す方法を見つけてきた。戦争の減少は、神の奇跡や自然法則の大変化の結果ではなかった。人間たちが自分の法律や神話、制度や機関を変え、以前よりも良い決定を下した結果だ。あいにく、この変化が人間の選択に由来するという事実は、それが逆転可能であることも意味する。テクノロジーも経済も文化も、絶えず変化している。

変化することこそ不変である

私たちが自然で恒久的だと思っているものの多くが、じつは人間の所産で、可変であるというのが、歴史の主要な教訓の一つだ。もし人間の文明が争いによって破壊されたとしたら、どんな自然の法則のせいにも、人間のものとは異質のテクノロジーのせいにもすることはできない。それはまた、私たちが努力すれば、より良い世界を生み出せることも意味する。歴史で唯一不変なのは変化することなのだ。