101/ Nexus A Brief History of Information Networks from the Stone Age to AI

ユヴァル・ノア・ハラリ氏が情報の人類史について書いた本

プロローグ

この本の立場

AIと戦争への悲観的な見方

10万年にわたる発見、発明、征服の後、人類は実存的な危機に自らを追い込んでしまいました。我々は生態学的崩壊の瀬戸際にあり、技術的な失態によって自滅の危機に瀕しています。人工知能には、私たちを制御し奴隷化、あるいは絶滅させる可能性があります。私たちの種の多くは、これらの実存的な課題に対処する準備ができていないようです。国際的な緊張は高まり、グローバルな協力は困難になりつつあり、各国は終末戦争の武器を蓄積し、新たな世界大戦は避けられないように思えます。

人類のネットワークは衆愚的になる特性があり、その構造を理解するための鍵が「情報」である

本書の主な主張は、人類は協力ネットワークを構築することで膨大な力を得るが、これらのネットワークはその力を賢明に使用する傾向がないということです。より具体的には、これは情報の問題です。情報はネットワークを結びつける接着剤です。

The naive view of information

「情報に対する素朴な見方」は、もちろん、数段落で説明できるよりもはるかに洗練されており、思慮深いものですが、その核心は情報を本質的に良いものとみなし、より多くの情報とより多くの時間があれば、それだけ良くなると信じることにあります。十分な情報と十分な時間があれば、私たちはウイルス感染からペスト菌に至るまで、あらゆることについての真実を発見するだけでなく、その力を賢明に使用する方法も発見できるはずです。これは、進歩主義者や企業が情報技術について表明してきた楽観的な見方です。

マーク・ザッカーバーグはFacebookの目的を「より多くの人々が共有できるようにし、世界をよりオープンにして人々の相互理解を促進すること」だと述べています。 2024年の著書『The Singularity Is Nearer』で、著名な未来学者で起業家のレイ・カーツワイルは、情報技術の約束を検討し、「指数関数的に進歩する技術の結果として、人間の活動のほぼすべての側面が着実により良くなっている」と結論付けています。人類の歴史の長い流れを振り返り、識字率、教育、富、衛生、健康、民主化、そして暴力の減少を含む人間の福祉のほぼすべての側面で「徳の輪」が前進している例を挙げています。情報に関する素朴な見方は、おそらくGoogleの使命声明に最も簡潔に捉えられています：「世界の情報を整理し、普遍的にアクセス可能で有用なものにする」。

1777年にゲーテが『魔法使いの弟子』を書いた頃、ドイツの子供たちのわずか約50パーセントしか10歳の誕生日を迎えることができないと推定されていました。そして、その数字は1850年までに73.5パーセントになりました。この劇的な改善は、医療データの収集、分析、共有なしには不可能だったでしょう。素朴な見方は情報の力を正しく指摘しているだけでなく、その使用についても正しい点を指摘しています。近年、人類は寿命と生活の質の両方において驚くべき向上を経験しています。私たちの情報革命は、古代アレクサンドリアの図書館よりもはるかに素晴らしいものを含んでおり、世界中の何十億もの人々を瞬時に結びつけています。

多くの企業や政府は、歴史上最も強力な情報技術であるAIを開発するための競争を繰り広げています。一部の楽観的な起業家、例えばアメリカの投資家のマーク・アンドリーセンは、AIが人類のすべての問題を解決すると信じています。2023年6月6日、アンドリーセンは「AIが世界を救う理由」というエッセイを投稿し、「良い知らせを伝えに来ました：AIは世界を破壊せず、実際にそれを救うでしょう」「AIはすべてをより良くすることができます」などの大胆な声明を含んでいました。彼は結論付けました、「AIの開発と普及は—私たちが恐れるべきリスクどころか—私たちが自分自身、子供たち、そして私たちの子孫に対して負っている道徳的義務なのです」。レイ・カーツワイルは『The Singularity Is Nearer』で、「AIは私たちが直面している差し迫った課題に対処することを可能にする重要な技術であり、それには病気、貧困、環境劣化、そして私たちの人間の欠点のすべてを克服することが含まれます。新しい技術の約束を実現することは道徳的な命令となっています」と主張しています。カーツワイルはこの技術の潜在的なリスクを十分に認識していますが、それらは成功裏に軽減できると信じています。

より多くの情報が物事をより良くするでしょうか？他の人々はより懐疑的です。哲学者や社会科学者だけでなく、ヨシュア・ベンジオ、ジェフリー・ヒントン、サム・アルトマン、イロン・マスク、ムスタファ・スレイマンなどの主要なAI専門家や起業家も、AIが私たちの文明を破壊する可能性があると公に警告しています。2024年にヒントンらが共同執筆した記事は、「無制御のAI開発は生命と生物圏の大規模な損失、そして人類の周縁化または絶滅をもたらす可能性がある」と指摘しました。2023年の2,778人のAI研究者を対象とした調査では、回答者の3分の1が10パーセントの確率でAIが人類を絶滅させる可能性があると考えていました。

2つの悲観シナリオ

まず第一に、AIの力は既存の人類の対立を激化させ、人類を自身に対して分断する可能性があります。20世紀に鉄のカーテンが冷戦で対立する勢力を分断したように、21世紀にはシリコンカーテン—有刺鉄線ではなくシリコンチップとコンピュータコードで作られた—が新しいグローバルな分断をもたらすかもしれません。

第二に、シリコンカーテンは、人々を特定のグループから切り離すというよりも、むしろ私たちを相互に分断する可能性があります。私たちがどこに住んでいようとも、操作不可能なアルゴリズムのウェブに包まれ、私たちの生活、おそらく政治や文化、そして私たちの体や魂さえも—を理解し制御することができなくなるかもしれません。21世紀半ばまでに人類のネットワークが成功すれば、それは人間の知性ではなく、AI独裁者によって運営されるかもしれません。

すべての以前の人間の発明は人間に力を与えましたが、新しい力がどれほど大きくても、決定は常に人間の手に委ねられていました。対照的に、AIは独自に情報を処理し、独立して人間の決定を下す可能性があります。それはAI独自のものです。情報の習得においても、AIは独立して新しい洞察を生み出すことができます。分子から薬への道筋を見つけることから、新しい生命形態を作り出すことまで、科学的発見を自ら行うことができるようになるでしょう。近い将来、遺伝子コードを書くか、無機的な自己複製エンティティを発明することで、新しい生命形態を作り出す能力を獲得するかもしれません。

AIは私たちの種の歴史だけでなく、すべての生命の進化の流れを変える可能性があります。

Homo Deusでの仮説

2016年、私は『Homo Deus』を出版し、新しい情報技術が人類にもたらす危険の一部を指摘しました。この本は、歴史の真の主人公は常に情報であり、Homo sapiensではなかったと主張し、科学者たちは生物学、政治学、経済学をますます情報の観点から理解するようになっていると論じました。動物、国家、社会的ネットワークは、すべて情報を処理するメカニズムとして見ることができます。情報は実際に私たちから力を奪い、私たちの物理的および精神的な健康を破壊する可能性があります。Homo Deusは、人類が情報の洪水の中で溺れてしまう可能性があると仮説を立てました。

第一部: Human Networks

人間の情報ネットワークの歴史的発展を概観します。情報技術（文字、印刷機、ラジオ）の世紀ごとの包括的な説明を試みるのではなく、いくつかの主要な例を研究することで、人々が情報ネットワークを構築しようとする際に直面してきたジレンマを探ります。私たちが通常「情報的・政治的な対立」と考えるものは、実は情報ネットワークの異なる種類の間の衝突であることが明らかになるでしょう。

第1章: What is information?

情報ネットワークの過去、現在、そして可能な未来を探る前に、一見単純な質問から始める必要があります：情報とは正確に何なのでしょうか？

大規模な人間の情報ネットワークの基礎となってきた二つの原則を検討することから始まります：神話と官僚制です。

情報は「現実を表現しようとする試み」ではない

素朴な見方は情報が現実を表現しようとする試みであり、その試みが成功すれば、それは真実だと主張します。この本はそのような見方に多くの問題があることを指摘していますが、真実が現実の正確な表現であることには同意します。しかし、この本はまた、情報は決して現実を表現しようとする試みではないと主張しています。

現実には、人々の信念に依存しない客観的な事実が含まれています。

現実はまた、様々な人々の信念や感情のような主観的な事実を持つ主観的なレベルも含んでいます。

現実を完全表現しようとすると、情報ではなく現実そのものになってしまう

ホルヘ・ルイス・ボルヘスの有名な短編「厳密な学問について」（1946年）のように。ボルヘスは架空の帝国について語り、その帝国は領土の地図をより正確に作ることに取り憑かれ、最終的に帝国と同じ大きさの地図を作ってしまいました。多くの資源がこの野心的な表現プロジェクトに浪費され、最終的には放棄されました。その後、人々は地図を区別し始め、ボルヘスは「西部の砂漠には、引き裂かれた断片が今でも見つかり、動物や乞食の避難所となっている」と述べています。1対1のスケールの地図は現実の究極の表現のように見えるかもしれませんが、もはや表現ではなく、それ自体が現実となってしまっています。

この点から、真実とは現実の正確な説明は決して完全ではないということです。常に説明されない、あるいはあらゆる説明で無視される現実の側面があります。

情報は現実をうまく表現していない

情報は現実を表現しようとする試みとして捉えられています。しかし、いくつかの情報は現実をうまく表現していないことは明らかです。これは「誤情報」や「偽情報」という不幸な事例として片付けられています。誤情報は、現実を表現しようとして間違いを犯す、正直な間違いです。一方、偽情報は意図的なもので、誰かが意図的に現実についての見方を歪めようとする時に起こります。

誤情報と偽情報は、多くの議論と対話=情報量によって解決できるとされてきた

素朴な見方のさらなる問題は、「誤情報」と偽情報の問題に対する解決策についてです。

この問題は時に米国の最高裁判所（ブランデンバーグ対オハイオ州の判決、1969年）で提起され、「虚偽を暴露する最良の方法は、より多くの議論と対話である」と示唆されています。この長期にわたる議論は、虚偽と誤謬を暴露するために使われてきました。もし全ての情報が現実を表現しようとする試みであるなら、世界における情報の量を使って、偶発的な誤りや誤謬を暴き、最終的により真実に近い世界理解へと導くことができます。

しかし、それは間違っている

この重要な点について、この本は素朴な見方に強く反対します。確かに、現実を表現しようとする情報の試みが成功することもありますが、これは情報の決定的な特徴ではありません。

ローマ皇帝が占星術によって意思決定していたように、嘘や誤りも情報になりえる
つまり、情報は真実とイコールではないし、現実をうまく表現してもいない
では情報とは何か？
情報とは、「現実(人々)を結びつけるもの」である

占星術の例が示すのは、嘘、幻想、そして誤りも情報になりうるということです。情報は、この素朴な見方が示唆するように、真実に本質的なものではなく、歴史の中で優れた現実を表現する必要もありません。むしろ、情報は現実を結びつける—カップルや帝国を結びつける—ものです。

情報は、異なる物事を結びつけてネットワークを作り出すものです。

例として聖書に書かれている人類の起源や疫病への対策などは、今振り返ると現実を表現していない
しかし、聖書という情報は人々を結びつけた

聖書は人類の起源、移住、疫病の現実を表現することには乏しいものの、数十億人の人々を結びつけ、ユダヤ教とキリスト教の宗教を結びつけることには非常に効果的でした。聖書は社会的プロセスを開始し、それによって宗教的なネットワークを結びつけました。そして有機的なネットワークと同じように、社会的なネットワークは時に突然変異を起こし、時には接続せず、常に接続するとは限りません。

これは情報の基本的な特徴です。

このように情報は「どれだけ真実を表現しているのか」という視点で見るのではなく、「どのような人々のネットワークを作り出すのか」で見るのが良い

したがって、歴史における情報の役割を検討する際、時には「それはどれほど真実を表現しているのか？」という問いに陥りがちですが、より重要な問いは「それはどのような人々のネットワークを作り出すのか？」です。

情報は真実を表すものではないので、より情報量を多くすれば良い世界を作り出せるわけではない
情報を「人々を結びつける」ものと捉えて、良い世界を作るためにどう情報を使うのかを考えるべき

素朴な見方が信じているのとは反対に、情報はより良い世界を作り出すための秘密の成功法ではありません。むしろ、成功の秘密は、情報を個人に結びつける能力にあります。残念ながら、これは嘘、誤り、幻想を信じることと手を携えて進んできました。これが、ナチスドイツやソビエト連邦のような技術的に進んだ社会が、正確さを必ずしも損なうことなく、不誠実な考えを抱きやすい理由なのです。実際、人種や階級に関するナチスやスターリン主義のイデオロギーによる大衆の妄想は、何千万もの人々を集団で行進させることに役立ちました。

第2章: Stories: Unlimited Connections

第2章と第3章では、古代バビロンから現代のデータベースまで、大規模な情報ネットワークが両方の原則に依存してきたことを説明します。例えば、聖書の物語は、キリスト教会の情報ネットワークにとって不可欠でした。しかし困難な点は、すべての情報ネットワークが神話や官僚制という道具を異なる方向に引っ張ることです。制度や社会は、しばしば神話が組織の需要を満たすために見つけた解決策によって妨げられます。キリスト教会は徐々に多くの教会に分裂し、それぞれがカトリックとプロテスタントの教会として、神学と官僚制の間に異なるバランスを取りました。

サピエンス全史の復習

協力するために、サピエンスはもはや互いを知る必要はありませんでした。同じ物語を知り、何百万もの見知らぬ人々と共有するだけでよかったのです。物語は、それ自体が中心的な連結器として機能し、無制限の数の人々を結びつけることができました。

カリスマ的な指導者でさえ、多くの信奉者を持つためにはこのルールに従う必要があります。信奉者のほとんどは指導者と個人的な絆を持っていたわけではありません。代わりに、彼らは指導者について注意深く作られた物語でつながっていたのです。

スターリンの事例面白い、ウォルト・ディズニーも徹底的に個を消す経営をしていて「ディズニーとは(自分のことではなく)、“長い間僕らが大衆の心の中に育ててきたもの=ブランド"を指しているんだ」と言っていたという話があるが、それに近い
「俺の革命」ではなく「俺達の革命」、革命家の条件

例えば、ヨシフ・スターリンは歴史上最も有名な人物の一人として、これをよく理解していました。トロツキストの一人がスターリンの有名な口髭と人民への献身について説明したとき、スターリンは彼を遮って言いました。「でも、私はスターリンではない」と。「いいえ、あなたはスターリンです」と相手は答えました。「あなたはスターリンであり、私はスターリンです。スターリンはソビエトの力です。スターリンとは、新聞や肖像画にあるもの—あなたや私ではないのです」。

「ブランド」とは物語の一種です。商品にブランドを付けるということは、その商品について物語を語ることを意味します。その物語は商品の実際の品質とはほとんど関係がないかもしれませんが、消費者は結果的にその物語を商品と結びつけて考えるようになります。例えば、コカ・コーラ社は数十年にわたって、何十億ドルもの投資を広告に費やし、コカ・コーラという飲み物の物語を語り続けてきました。人々はその物語を何度も見聞きしているため、多くの人々が特定の風味付けされた炭酸水を楽しさ、幸せ、若さと結びつけるようになりました（虫歯、肥満、プラスチック廃棄物とは逆の関連付けです）。それがブランディングです。

俺達が孫正義の伝説エピソードに胸を踊らせるのと同じ
物語による人のブランド化の極端な例だと、セブン&アイホールディングスの経営陣はあえて成果を鈴木敏文氏の手柄に集約する事によって「コンビニの父」「小売の神様」として鈴木敏文氏の神格化を行ったという話がある

人やモノをブランド化することは可能ですが、物語もブランド化することができます。魅力的な天才やヒーロー的な人物として実際にブランド化できるように、古典的な物語としてブランド化することもできます。人々はその人物とつながるのではなく、実際にはその人物についての物語とつながるのです。

大きなことを成すためには多くの人を率いる必要があるが、そのための手法として真実よりも虚構を含む物語の方が有効である
そのため、得てして虚構を含む"極端な"物語によって人々が扇動されることが多い
そもそも「神々、国家、通貨、法律」などは架空のものである
「客観的な現実ではなく、新しい間主観的な現実を作っている」

トップにいる人々が、真実を支持する単なる科学者であることは決してありません。それは、共通の目的のために人々を結集させるために、真実は何よりも効率的なツールではないからです。代わりに、人間のネットワークは特に間主観的なもの—神々、お金、国家—について語る架空の物語を好む傾向があります。人々を団結させる際、真実には固有の優位性はありません。実際、偽の方が簡単に作られ、単純な形で語ることができます。一方、真実は複雑になりがちです。さらに、例えば、真実はしばしば世界が平等を欠いていることを示すため、人々を不安にし、混乱させる可能性があります。

実際にプラトンは国家運営には「高貴な嘘」が必要だとしていた

プラトンの『国家』の中で、彼は理想的な国家は「高貴な嘘」—実際には社会秩序の起源と、市民の忠誠を確保し、彼らが憲法を破壊することを防ぐものについての架空の物語—に基づく必要があると想像していました。プラトンは、市民たちに彼らが地球から生まれたのではなく、その土地が彼らの母であり、したがって彼らはその母なる土地に対して生来の忠誠を負っていると告げるべきだと主張しました。さらに、神々は人々を異なる金属—金、銀、青銅、鉄—で作ったと告げるべきで、これによって金の市民と青銅の奴隷の間の自然な階層制が正当化されると主張しました。プラトンのユートピアは実践では実現されませんでしたが、多くの政治体制が歴史を通じてこのような物語を語ってきました。

人間の情報ネットワークは「真実を認識すること」と「秩序を作ること」の2つを両立させる必要がある
どちらか一方だけでは足りない

すべての人間の情報ネットワークは同時に二つのことを行う必要があります：真実を発見し、秩序を作り出すことです。したがって、歴史を通じて、情報ネットワークは二つの異なるスキルのセットを開発してきました。一方では、素朴な見方が期待するように、ネットワークは医学、数学、物理学のような分野での真実を発見する方法を学んできました。同時に、ネットワークはより大きな集団の中で強力な社会秩序を維持するために情報を使用する方法も学んできました。その際、真実の説明だけでなく、架空の物語、ファンタジー、プロパガンダ、そして時には—完全な嘘も使用してきたのです。

情報を単に民主化するだけでは、真実と秩序のどちらも保証されない
秩序を作るためには「複雑な真実」よりも「単純化した架空の物語」の方が向いているため、真実と秩序は矛盾することが多い

大量の情報を持っているということだけでは、真実や秩序のどちらも保証されません。情報を使って真実を発見し、同時に秩序を維持することは困難なプロセスです。これらの二つのプロセスはしばしば矛盾するため、事態はさらに悪化します。なぜなら、架空の物語を通じて秩序を維持する方が容易なことが多いからです。米国憲法のように、架空の物語がその架空性を認めることもありますが、より多くの場合、それを否定します。例えば、宗教は常に、人間が発明した架空の物語ではなく、客観的で永遠の真実であると主張します。このような場合、真実の探求は社会秩序の基盤を脅かします。

これが、人間の情報ネットワークの歴史が完全な勝利の行進ではない主要な理由の一つです。人間の世代が重ねるごとに、ネットワークはますます強力になってきましたが、必ずしもますます賢明になってきたわけではありません。ネットワークが真実よりも秩序を優先すると、その力を無責任に使用する可能性があります。進歩の物語に反して、人間の情報ネットワークの歴史は、真実と秩序のバランスを取ろうとする綱渡りのようなものです。21世紀において、私たちは石器時代の祖先たちよりも正しいバランスを見つけることに、それほど優れているわけではありません。GoogleやFacebookのような巨大組織は、単純に情報の速度と効率を向上させるだけでは、世界をより良い場所にはしません。これは物語の発明が数万年前に教えた教訓ですが、その同じ教訓を今日も学び直す必要があるのです。

秩序と真実がコンフリクトした具体例: ダーウィンの進化論
地動説 vs 天動説も同じ

一つの顕著な例が、ダーウィンの進化論です。進化の理解は、ホモ・サピエンスを含む種の起源と生物学についての理解を大きく前進させましたが、多くの社会で秩序を維持している中心的な神話を弱体化させました。様々な政府や教会が進化論の教育を禁止したり制限したりしてきたのも、不思議ではありません。秩序のために真実を犠牲にすることを好んだのです。

第3章: Documents: The Bite of the Paper Tigars

人々を鼓舞して団結させる「ストーリー」の力は凄まじいが、情報技術としては物語だけでは限界がある

情報技術として、物語には限界があります。

このことを理解するために、物語が国家の形成において果たす役割を考えてみましょう。

夢、歌、ファンタジーは、どんなに感動的であっても、機能する国民国家を創造するには十分ではありません。軍隊を装備し維持するためには、税金を徴収し、銃を購入する必要があります。都市を維持するためには、下水道システムを掘る必要もありました。

「ストーリー」だけでは社会は回らず、「リスト」=単純なデータとしての情報が必要

結局のところ、愛国心の真髄は、母国の美しさについて感動的な詩を朗読することではなく、これらのサービスをすべて管理し、必要な税金を徴収するために、財産、支払い、免除、割引、負債、在庫、出荷、予算、請求書、給与に関する情報を収集、保管、処理する必要があります。これは記憶に残る詩や魅力的な神話に変えることができる種類の情報ではありません。代わりに、税務記録は、単純な項目ごとの記録から、より精巧な表計算ソフトまで、さまざまな種類のリストの形をとります。

どんなに複雑であっても、リストは、国の課税システムだけでなく、他のほとんどすべての複雑な金融機関にとっても重要です。企業、銀行、株式市場はそれなしでは存在できません。教会、大学、図書館は、予算のバランスを取りたい場合、物語で人々を魅了できる司祭や詩人に加えて、さまざまな種類のリストに通じている会計士が必要であることにすぐに気づきます。

これらのデータセットがどんなに退屈になっても、彼らは物語を避け、借りた金額と支払った金額を淡々とリストアップすることを好みます。詩人はそのような日常的な事実を無視することができますが、徴税人はできません。

「ストーリー」と「リスト」は相互補完関係にある

リストと物語は相補的です。国の神話は税務記録を正当化し、税務記録は意欲的な物語を具体的な学校や病院に変えるのに役立ちます。金融の分野でも同様のことが起こります。ドル、ポンドスターリング、ビットコインはすべて、人々にある物語を信じさせることによって生み出され、銀行家、財務大臣、投資家が語る物語は、その価値を高めたり下げたりします。連邦準備制度の議長がインフレを抑制したい場合、財務大臣が新しい予算を可決したい場合、技術起業家が投資家を引き付けたい場合、彼らは皆物語に頼ります。しかし、銀行、予算、スタートアップを実際に管理するには、リストが不可欠です。

「ストーリー」は面白くて覚えやすいが、「リスト」は退屈で覚えにくい

リストの大きな問題、そしてリストと物語の重要な違いは、リストが物語よりもはるかに退屈になる傾向があるということです。つまり、物語は簡単に覚えることができますが、リストを覚えるのは難しいのです。これは、人間の脳が情報をどのように処理するかについての重要な事実です。進化は、私たちの脳が物語の形にされたときに、非常に大量の情報を吸収、保持、処理するのに適応してきました。

叙事詩や長編テレビシリーズを覚えるのが得意なのは、長期的な人間の記憶が物語を保持するのに特に適応しているからです。

対照的に、ほとんどの人はリストを暗記するのが難しいと感じており、税務記録や年次予算のテレビ朗読を見たいと思う人はほとんどいません。誰が自国の税務記録や予算を覚えることができるでしょうか？その情報は、国民が享受する医療、教育、福祉サービスの質を決定する上で重要かもしれませんが、私たちの脳はそのようなことを覚えるように適応していません。

「リスト」は退屈で覚えにくいが、社会を回すために必要であるため、「文書(Documents)」という技術が使われる
最初の文書記録

最も初期の例のいくつかは、古代メソポタミアから来ています。ウル王シュルギの治世（紀元前2053/4年頃）の41年目の10月28日にさかのぼる楔形文字の粘土板には、羊とヤギの毎月の配達が記録されています。月の2日目に15頭の羊が配達され、3日目に7頭の羊、4日目に11頭の羊、5日目に219頭の羊、6日目に47頭の羊が配達され、28日目まで3頭の羊が配達されました。粘土板によると、合計で896頭の動物がその月に受け取られました。これらの配達をすべて覚えていることは、王室の管理にとって、人々の服従を監視し、利用可能なリソースを追跡するために重要でした。これを頭の中で行うことは非常に困難でしたが、学識のある書記官が粘土板に書き留めるのは簡単でした。

「文書(Documents)」にも当然、嘘や誤りが含まれる

物語と同様に、歴史上の他のすべての情報技術と同様に、書かれた文書は必ずしも現実を正確に表しているわけではありません。たとえば、ウルの粘土板には間違いが含まれていました。文書には、その月に896頭の動物が受け取られたと書かれていますが、現代の学者が個々のエントリをすべて合計すると、合計898頭になりました。文書を書いた書記官は、全体的な集計を計算するときに明らかに間違いを犯し、粘土板はこの間違いを後世のために保存しました。

口伝では脳の容量に限界があったが、「文書(Documents)」が脳の容量を超えて「主観的な現実」を生み出す

真実であろうと嘘であろうと、書かれた文書は新しい現実を生み出しました。財産、税金、支払いのリストを記録することで、管理システム、王国、宗教組織、貿易ネットワークをはるかに簡単に作成できるようになりました。より具体的には、文書は主観的な現実を作成するために使用される方法を変更しました。口頭文化では、主観的な現実は、多くの人が口で繰り返し、脳内で記憶した物語を語ることによって作成されました。脳の容量は、その結果、主観的な現実の種類に制限を加えました。

しかし、この制限は文書を書くことによって超越される可能性があります。文書は客観的な経験的現実を表していませんでした。現実は文書そのものでした。後の章で見るように、書かれた文書は、最終的にコンピューターで使用される先例とモデルを提供しました。コンピューターが主観的な現実を作成する能力は、粘土板と紙の力の延長です。

所有権、ローン、請求、条約、法律、契約、お金など全てが「文書」によって生み出された主観的現実
古代アッシリアではローンを「殺す」「死ぬ」と表現していた

ローンが返済されなかった場合、古代アッシリアの言葉で言えば、ローン契約は「殺された」（duākum）債務が返済されたとき、債務はまだ残っていました。ローン契約は、債務を破壊するか、マークを付けたり、封印を破ったりすることで「死んだ」のです。もし誰かがローンを返済しなかった場合、ローンは「死んだ」と文書は言いませんでした。ローンはまだ残っていました。

大量に生み出された「文書」を管理するために「官僚制」が必要だった？
大量の「文書」とそれを管理する「官僚制」はあまりに複雑なため、かつての「人間対人間」「人間対物語」の連鎖のみでできていた人間社会とは違い、権力を理解するのが難しくなった
「人間対人間」「人間対物語」の世界では物語を上手く使うものが権力者になったが、「人間対文書」の世界では、難解な文書の理解に長けたものが権力者になった

文書や官僚制のない部族社会では、人間のネットワークは、人間対人間、人間対物語の連鎖のみで構成されている

権力は、さまざまな連鎖をつなぐ接点を支配する人々に属する。これらの接点は、部族の基盤となる神話である。カリスマ的な指導者、雄弁家、神話制作者は、アイデンティティを形成し、同盟を築き、感情を揺さぶるために、これらの物語をどのように使うかを知っている。

文書と官僚的手続きによってつながれた人間のネットワークにおいて、社会は人間と文書の相互作用に一部依存している。人間対人間、人間対物語の連鎖に加えて、そのような社会は人間対文書の連鎖によって結びついている。

これは権力の変化につながった。文書が多くの社会的な連鎖をつなぐ重要な結節点になると、これらの文書にかなりの権力が集中するようになり、文書の難解な論理の専門家が新しい権力者として台頭した。管理者、会計士、弁護士は、読み書きだけでなく、書式の作成、引き出しの整理、記録の管理のスキルも習得した。

「文書」が命を救うという考え方は、日本に生まれて日本に住んでいるとなかなか持てない感覚
「文書は冗談じゃ済まされない」

提出した人のうち、63％だけが市民権を取得した。全体として、758,000人のルーマニア系ユダヤ人のうち、367,000人が市民権を失った。

今や、孤独で職がないだけでなく、無国籍で、他の仕事の見込みもほとんどなかった。

第二次世界大戦が勃発し、書類のないユダヤ人にとっての危険が高まった。1938年に市民権を失ったルーマニア系ユダヤ人の大多数は、その後数年間でルーマニアのファシストとそのナチスの同盟国によって殺害されることになる。（市民権を保持したユダヤ人ははるかに高い生存率を持っていた。）

私の祖父は両手でその申し出を受け入れ、1941年から1945年まで北アフリカとイタリアの戦線でイギリス軍に勤務した。その見返りに、彼は書類を手に入れた。

私たちの家族では、文書を保存することが神聖な義務となった。銀行の明細書、電気料金の請求書、期限切れの学生証、自治体からの手紙――公式に見えるスタンプが押されていれば――それは私たちの食器棚にある多くのフォルダーの1つに保管されることになる。これらの文書のどれがいつかあなたの命を救うかわからない。

「ストーリーによって人々を鼓舞/団結させること(神話)」と「リストを文書で管理することによって秩序を保つこと(官僚制)」が人類の大規模社会を成り立たせる2つの柱である
AIはこのどちらも人間よりも何倍も得意であるため、AIが「支配者/権力者」になることは自明
情報ネットワークにおいては、情報の量を増やしても真実は最大化されず、秩序とのバランスが取られる
つまり「神話」「官僚制」のどちらも秩序のために真実を捻じ曲げてしまう
AIにどうやって真実を最大化させるのか？というのを次章以降は考える

将来の情報ネットワーク、特にAIに基づくものは、以前のネットワークとは多くの点で異なるだろう。21世紀の新しいAIベースの情報ネットワークを探求する前に、官僚制と神話が真実との接触を完全に失わないようにするメカニズム、つまり、情報ネットワークがどのように独自の誤りを特定して修正するかを理解する必要がある。

神話は、大規模社会の秩序を維持するために不可欠であり、官僚制もまた不可欠である。AIは、生身の官僚よりもデータを見つけて処理する方法を習得しており、AIはほとんどの人間よりも物語を構成する能力も獲得している。

官僚制と神話はどちらも秩序を維持するために不可欠であり、どちらも秩序のために真実を犠牲にすることを厭わない。情報ネットワークが自らを完全にエラーがないと信じるとどうなるか？いわゆる誤りがない聖典の歴史は、AIの設計者とユーザーにとって重要な歴史的教訓を強調している。ネットワーク内の情報の量を増やすだけでは、その有益性は保証されない。私たちは今、情報ネットワークが真実を最大化しないこと、むしろ真実と秩序のバランスを求めることを見てきた。それは、AI神話制作者とAI官僚の設計者とユーザーにとって重要な歴史的教訓である。

第4章: Errors: The Fantasy of Infallibility

第4章では、誤った情報の問題と、自己修正メカニズムの利点と欠点について検討します。カトリック教会のような弱い自己修正メカニズムに依存する制度と、科学的規律のような強い自己修正メカニズムを持つ制度を比較します。弱い自己修正メカニズムは、時として初期の中世ヨーロッパの魔女狩りのような歴史的惨事を引き起こす一方で、強い自己修正メカニズムは時としてネットワークを内部から不安定化させます。寿命、拡大、力の観点から判断すると、カトリック教会は人類史上おそらく最も成功した制度の一つかもしれません。

AIは宗教

今日では、「人工知能」や「最大限の効用を追求するAI」といったものを理解しようとする試みがその一例です。後の章で、なぜこれが危険な幻想なのかを説明します。歴史的に見て、宗教は同じような形—宗教を通じて、超人的なメカニズムを見つけ出し、それを全て信頼するという形—を取りました。

宗教は「絶対に間違えない超人的な知性」をどうやって信じさせるのかが肝

しかし歴史的に見て、宗教の最も重要な機能は、社会秩序に超自然的な正当性を与えることでした。仏教、キリスト教、イスラム教、ヒンドゥー教は、それぞれの考えやアイデアを確立するために、超人的な権威が必要だと主張しました。そのため、誤りの可能性から逃れることはできず、常に誤りやすい人間によって疑問視されたり、挑戦されたりする必要があったのです。

あらゆる宗教の中心には、超人的で不謬の知性とつながりたいという幻想があります。

宗教の歴史全体を通じて、繰り返し現れる問題は、ある神聖な教義が実際に不謬の超人的な源から生まれたものだと人々を納得させる方法でした。

「人間を神とする」「人間を神の代弁者とする」という手法だと、人間は必ず誤る存在であるため、信頼性に限界がある
宗教は「絶対に間違えない超人的な知性」を本というテクノロジーに宿した
- リゼロの叡智の書と福音の書

聖書やクルアーンのような聖典は、人間の誤りやすさを迂回するためのテクノロジーであり、ユダヤ教、キリスト教、イスラム教といった書物の宗教は、この技術的な人工物を中心に構築されてきました。

本は紀元前1千年紀に重要な技術革新をもたらしました。何千年もの間、神々が人間に、シャーマン、祭司、預言者、託宣、その他の人間の使者を通じて語りかけた後、ユダヤ教のような宗教運動は、神々がこの本の技術を通じて語りかけていると主張し始めました。

本は必ず全く同じ文章でコピーされる

書簡を書くとき、私たちは少し異なる言い方をするかもしれませんが、同じ内容の手紙を何度も繰り返し書くことはないでしょう。これに対して、本のコピーはすべて同一であることが想定されています。

初期は神が直接本を書くわけではなく、最初の1回は人間を介するが、その真実性は合議で担保されると考えた

神々の言葉が天から直接降ってきたわけではありません。人間によって編集されなければなりませんでした。それでも信者たちは、この厄介な問題は一度限りの共同の努力で解決できると期待しました。最も賢明で信頼できる人々を一堂に集め、彼らが本の内容について合意すれば、その時点から私たちは人間を排除し、神聖な言葉は永遠に人間の干渉から安全になるだろうと考えました。

この手続きに対して多くの反論が提起されました：最も賢い人々を誰が選ぶのか？どのような基準に基づいて？彼らが合意に達することができなかったらどうするのか？後で考えを変えたらどうするのか？

だが、次第に聖書の作成自体も人間ではなく神が行ったと考えられるようになっていった

正典が封印された後、ほとんどのユダヤ人は徐々に聖書編纂における人間の制度の役割を忘れていきました。正統派は、トーラー全体がモーセに神によってシナイ山で直接手渡されたと主張しました。初期のラビたちは、神が最初の人間のキャラクター—アダムとイブ—を創造したのと同じ時に聖書の全ての部分を創造したと主張しました。聖書は神によって創造された、あるいは神によって霊感を受けたテキストとして見られ、一般的な人間の編纂物とは全く異なるものとされました。聖書が封印されると、ユダヤ人は今や神の正確な言葉への直接のアクセスを持っていると期待されました。これは制度の腐敗を防ぐことを約束しました。

Chapter 2で「ストーリーの力を上手く使えた人が権力を持った」Chapter 3でそれに加えて「リスト情報をDocumentで管理することによって社会を回せるため、文書の扱いに長けた人が権力を持った」と書いてあったが、これが聖書を広く配ることによって民主化されたという話
「ストーリーによって人々を鼓舞/団結させること(神話)」と「リストを文書で管理することによって秩序を保つこと(官僚制)」が支配者の条件
ストーリーテリングが上手くなくても聖書を読ませればストーリーの力を使えるし、ルールを信じさせて秩序を保つことができる

ユダヤ人は聖なる本の数多くのコピーを作り始め、ユダヤ教共同体は少なくとも一つのコピーをその研究の家（bet hamidrash）に持つことが想定されていました。これは二つのことを達成することを約束しました。

第一に、聖なる本の識別可能なコピーを広めることは、人間の官僚制と権力を民主化することを約束しました。この混乱の代償として、ユダヤ人の書記官たちは、神の法に従う約束をしなければなりませんでした。

第二に、より重要なことですが、同じ本の数多くのコピーを作ることは、テキストの改ざんを防ぎました。数千の同一のコピーが多くの場所に存在していたため、聖なる本の一文字を変更しようとする試みは、詐欺として暴露される可能性がありました。多くの場所で利用可能な数多くのコピーは、人間のシステムを神の主権に置き換えたように見えました。

聖書にも問題があった

活版印刷がないので、正確なコピーが難しい

一つの明白な問題はテキストのコピーでした。聖なる本が機能するためには、人々が住むところならどこでもコピーを持つ必要がありました。完全に正確なコピーを作るためには、驚くほど複雑な技能と細心の注意が必要でした。

このような問題を予防するために、聖書を正典化したラビたちは、聖なる本をコピーするための厳密な規則を制定しました。例えば、書記は重要な瞬間に一時停止することを許されませんでした。

聖書を信じたとしてもその解釈が揃わない

二番目のそしてより大きな問題は解釈に関するものでした。人々が本の神聖性とその正確な言葉に同意したとしても、それらの言葉を異なる方法で解釈することができました。あなたが読む聖書は安息日に働くことを禁じています。でも、「働く」とは何を意味するのでしょうか？「一日」とは何時に始まり、何時に終わるのでしょうか？どうして羊について心配しなければならないのでしょうか？母親の乳で若い山羊を煮ることについては、どうでしょうか？

しかし、他の人々はこの禁止をより広く解釈し、肉と乳製品を決して混ぜてはならないと主張しました。そのため、今日の正統派ユダヤ教徒は、ハンバーガーにチーズを載せることは許されません。

結局、解釈の部分に人間と教会の権威が入り込んだ

時が経つにつれ、聖書の解釈者たちはより多くの権力と威信を獲得していきました。

ユダヤ人は、たとえ彼らが合意した解釈を好まなくても、その解釈に従うことを約束しました。彼らは、人間の解釈なしでは聖なる本は機能できないと主張しました。聖なる本は紀元前3世紀に正典化されましたが、ラビたちは口頭の法も必要だと主張しました。

口頭の法がより権威を持つようになるにつれ、ラビたちは口頭の法も神の計画の一部だったと信じ始めました。それは人間によって作られた可能性はなく、おそらく不謬の人物によって構成されたに違いないと考えました。

このテキストと解釈の増殖は、時とともに、ユダヤ教に深い変化をもたらしました。

2世紀のアレクサンドリアから20世紀のブルックリンまで、典型的なユダヤ教の場面は、テキストの解釈について議論する学者のグループとなりました。

時間が経つにつれ、解釈の問題は次第に聖なる本と制度の間の力のバランスを制度に有利に傾けました。ユダヤ教の聖典を解釈する必要性がラビを強化したのと同様に、キリスト教の聖典を解釈する必要性は教会を強化しました。イエスの同じ言葉やパウロの同じ書簡が様々な方法で理解され、どの読み方が正しいかを決めるのは制度でした。その制度は、西方カトリック教会と東方正教会の間のような制度的な分裂をもたらした聖なる本を解釈する権威をめぐる争いによって繰り返し揺さぶられました。

カトリック教会、それ自体は無敵の本とその解釈者として機能し、教会がヨーロッパの主要な地主となり、暴力的な十字軍を起こし、数多くの宗教裁判所を設立することを許可する方法でテキストを解釈しました。聖職者神学は、これらの考えは私たちの敵を愛せという考えと調和するというのではなく、異端者を焚刑に処すことは愛の行為であると受け入れました。なぜなら、それは他の人々が地獄の炎から救われる助けとなるからです。

教会による支配が成立したのは情報ネットワークが貧弱だったため
- Before インターネットの世界を想像するのが難しいのと同様に、Before 活版印刷(1450年頃より以前)の世界を想像するのも難しい

もちろん、教会は時折異端の思想家が異端の考えを形成することを許しませんでした。しかし、それは中世の情報ネットワーク—複写ワークショップ、古文書館、図書館など—のノードを制御することで、異端的な考えの普及を阻止し、何百ものコピーを配布することができました。この難しさの一例として、ジョン・ウィクリフがオックスフォード大学の教授であったにもかかわらず、彼の考えを広めようとしたとき、彼は聖マリア教会の下にある秘密の書庫に本を保管しなければなりませんでした。1424年、ケンブリッジ大学図書館は、たった122冊の本の壮大なコレクションを誇っていました。オックスフォード大学は1409年、「最近の本」はすべて大学で研究される前に「異端的な考えの検出のために任命された人々」によって系統的に調査されなければならないと命じました。

「テキストに権威を持たせる」手法は、結局成功しなかった

不謬のテキストに権威を持たせることによって人間の誤りやすさを回避しようとする試みは決して成功しませんでした。プロテスタント宗教改革は同じ実験を何度も何度も繰り返しました—常に同じ結果を得ました。ルター、カルビン、そして彼らの後継者たちは、普通の人々と聖書の間に自らを解釈する制度を置く必要はないと主張しました。キリスト教徒は聖書の周りに成長したあらゆる寄生的な官僚機構を捨て、神の元の言葉に再接続すべきです。しかし、神の言葉は自ら解釈されるわけではなく、これが多くの他のプロテスタント宗派が最終的に独自の制度を確立した理由です。

「人間に権威を持たせても駄目」「テキストに権威を持たせても駄目」じゃあどうすれば良いのか？
「情報は増やせば増やすほど良い」というNaiveな考え方の場合、「情報を完全に自由化すれば間違いは公開され、修正される」ということになる

不謬のテキストが単に不謬で抑圧的な教会の台頭につながるならば、人間の誤りの問題にどう対処すべきでしょうか？情報の素朴な見方は、この問題は教会—つまり、情報の市場—の反対物を作り出すことで解決できると示唆しています。この見方では、情報の自由な流れに制限がなく、誤りは公開され、置き換えられると考えています。

活版印刷の発明により、1450年頃以降は本という情報が爆発的に増えた

この視点の一部として、実際の証拠として何が起こったかを考えてみましょう。印刷技術の発明は、情報世界における革命をもたらしました。印刷プレスは15世紀に急速に安価な本を生産することを可能にし、16世紀末までに、カトリック教会が解釈したとしても、120万冊以上の本がヨーロッパで印刷されたと推定されています。対照的に、それ以前の1000年間には約3万冊の本だけが手で複写されました。1500年までに、すべての種類の本—法律書、科学書、小説—は非常に急速に広がっていました。

その結果として、教会の情報ネットワーク支配を打ち破り、科学革命が起こった

情報ネットワークの歴史において、初期近代ヨーロッパの印刷革命は通常、勝利の瞬間として称えられています。カトリック教会がヨーロッパの情報ネットワークを支配してきた足枷を打ち破ったとされています。人々がこれまでよりも自由に情報を交換できるようにすることで、科学革命への道を開いたと言われています。この説明には真実の粒があります。印刷は確かにコペルニクス、ガリレオ、そしてニュートンが彼らの考えを広め、お互いの上に構築することを容易にしました。

一方で、情報が拡散できることにより、間違った情報(魔法と魔女への信仰、魔女狩り)を爆発的に普及した
- 魔女狩りは活版印刷以前はヨーロッパの一部の地域だけで行われていたが、活版印刷以降爆発的に件数が多くなった

しかし、印刷は科学革命の根本的な原因ではありませんでした。印刷機が行った唯一のことは、忠実にテキストを複製することでした。この機械には独自の新しいアイデアを考え出す能力はありませんでした。科学と理性を結びつける人々は、事実を生産し広めることで必然的に人々を真実に導くと信じています。実際には、印刷は急速な科学的アイデアの普及を可能にしましたが、宗教的な狂信、偽の治療法、そして陰謀論の信念も同様に拡散させました。これは特に現代人が必要としていた魔術的な考えの複雑な構造の信念につながりました。

印刷の発明がヨーロッパの魔女狩り狂気を引き起こしたと主張するのは誇張でしょうが、印刷プレスは悪魔的な陰謀への信仰の急速な普及において重要な役割を果たしました。

結果として、魔女狩りが17世紀初頭にピークに達し、多くの人々が何かが明らかに間違っていると疑い始めた時でさえも、全体を純粋なファンタジーとして拒否するのは難しかったのです。

情報が自由になっても有毒な情報の方が広がる事例

魔女狩りの歴史は、情報の自由な流れに対する人為的な障壁が必ずしも真実の発見と普及につながるわけではないことを示しています。嘘と幻想が広がり、有毒な情報の流れにつながることは簡単です。より具体的には、完全に自由な思想の市場がプロテスタント宗教改革の科学的伝統を無力化しないのはなぜか理解するのが難しくありません。印刷業者と書店は「魔女への鉄槌」の官能的な話から、コペルニクスの「天体の回転について」よりも多くの金を稼ぎました。地球が宇宙の中心から移動し、それによってコペルニクス革命を開始したという地球を揺るがす発見が含まれていました。しかし1543年に初めて出版された時、わずか400部が売り切れ、1566年まで再版されることはありませんでした。第三版は同様の印刷部数では現れませんでした。

科学の登場
- 「科学に賭ける」石神千空

科学プロジェクトは、誤りやすさと間違いやすさの認識を重視し、知識のネットワークや考え方が必然的に不確かであることを認識することから始まりました。確かに、最も称賛される科学的論文でも誤りや誤謬が含まれています。天才でさえも誤りから自由ではありませんが、それでも彼らの誤りを修正することができます。科学は個人科学者や一般的に不謬の本に頼るのではなく、制度的協力に頼るチームの取り組みです。

科学は自己修正メカニズムをつくったのが新しいパラダイム

情報技術として、自己修正メカニズムは聖なる本の対極にあります。聖なる本は不謬であると想定されています。自己修正メカニズムは誤りやすさを受け入れます。「自己修正する」とは、エンティティが自分自身を使用するメカニズムを指します。教師が生徒の論文を修正することは自己修正メカニズムではありません—生徒が自分の論文を修正しているのです。判事が犯罪者を刑務所に送ることは自己修正メカニズムではありません—犯罪者は自分の犯罪に対して罰せられているのです。アトラス検索サイトがNuriなどの検索エンジンと比較すると、これは自己修正メカニズムではありません。そうではなく、科学的学術誌が論文に誤りがないかをチェックするのは自己修正メカニズムです。
ただし、自己修正メカニズムも銀の弾丸ではなく、意見の相違、対立、不一致を生み出し、社会を一つに保つ真実を弱体化する傾向がある

これはすべて、自己修正メカニズムにおいて、私たちが人間の情報ネットワークをエラーやバイアスから守る魔法の弾丸を見つけたことを意味するのでしょうか？残念ながら、事態はより複雑です。カトリック教会やソビエト共産党のような機関が強力な自己修正メカニズムを避けた理由があります。そのようなメカニズムは社会秩序を維持するためには不可欠ですが、それらはまた意見の相違、対立、不一致を生み出し、社会を一つに保つ真実を弱体化する傾向があります。
民主主義は「自己修正メカニズムを維持することが可能」だと信じている前提の仕組み
一方で独裁政治は「自己修正システムを維持することは不可能」という立場の仕組み

次の章ではこの質問を掘り下げます。政治的な情報の流れに焦点を当て、民主主義と独裁政治の長期的な歴史を検証します。私たちが見るように、民主主義は政治においても強力な自己修正メカニズムを維持することが可能だと信じています。独裁政治はそのようなメカニズムを否定します。

AIは「自己修正メカニズム」を弱体化させるのか？

AIに関する最大の疑問の一つは、それが民主的な自己修正メカニズムを弱体化させるかどうかということです。

第5章: Decisions: A Brief History of Democracy and Totalitarianism

第5章では分散型と中央集権型の情報ネットワークの間の対比に焦点を当てて歴史的考察を締めくくります。民主主義システムは、多くの独立したチャンネルを通じて情報が自由に流れることを可能にしますが、全体主義システムは一つのチャンネルに情報を集中させようとします。アメリカ合衆国やUSSRのような政治システムは、情報フローに関して全く異なる価値観を持っていました。

この歴史的な部分は、現在の展開と将来のシナリオを理解するために極めて重要です。AIの台頭は、おそらく歴史上最大の情報革命です。私たちは、その前例と比較しなければ理解することはできません。歴史は過去の一部分ではありません。それは変化の研究です。歴史は、何が同じで何が変わるのかを教えてくれます。多くの人は、AIが人類に対して前例のない価値ある洞察を提示する一方で、前例のない重大なリスクをもたらすと主張します。同様に、スターリンとヒトラーの台頭に関する早期の警告は、AIに関する暗い予感を呼び起こします。

民主主義と独裁制は一般的に対照的な政治的・倫理的システムとして議論されます。この章では、情報ネットワークの対照的なタイプとして民主主義と独裁制の歴史を調査することで、議論の条件を変えることを目指します。これは、民主主義における情報の流れ方が独裁的システムとは異なること、そして新しい情報を発明する方法の違いを検証します。

独裁制と民主主義の情報ネットワークの違い

独裁制は中央集権化された情報ネットワークであり、強力な自己修正メカニズムを欠いています。反対に、民主主義は分散化された情報ネットワークであり、強力な自己修正メカニズムを持っています。

民主主義は自己修正メカニズムを持っている

政府もまた誤りやすいので、報道の自由を保護し、行政、立法、司法の三権分立など、間違いを発見し修正するためのメカニズムが必要です。

ただ、民主主義も完璧ではない
例えば選挙は真実を表現しない

選挙は真実を発見するための方法ではないことを覚えておくことが根本的に重要です。むしろ、それらは人々の相反する願望の間で裁定を維持することによって秩序を維持するための方法です。選挙は真実が何であるかではなく、人々が望むことが何であるかを確立します。人々は真実が他のものであることを望むかもしれませんが、それは関係ありません。民主的ネットワークは真理を多数派の意志から守るためのメカニズムを維持する必要があります。

民主主義は複雑な仕組みを持つが、そもそも複雑なものであるべき

これらすべてが複雑に聞こえるなら、それは民主主義が複雑であるべきだからです。単純さは中央が全てを命令し、全員がそれに従う独裁的情報ネットワークの特徴です。独裁的なモノローグに従うのは簡単です。対照的に、民主主義は多くの参加者との会話であり、多くが同時に話しています。そのような会話を追うのは難しいでしょう。

ポピュリズムの間違っている点は人々が単一であるという前提

最も明白な典型的なポピュリズムの誤りは、人々が本当に単一の声を持っているという信念です。

ポピュリスト的信条の基本的な部分は「私たちが人民だ」という信念です。フラッシュと血から成る個人の集合として「人民」を見るのではなく、様々な利益と意見を持つ個人として見るのではなく、統一された神話的存在として見ています。これはナチスの「アイン・フォルク、アイン・ライヒ、アイン・フューラー」というスローガンに最もよく表現されています。これは「一つの人民、一つの国、一つの指導者」を意味します。ナチスはフォルク（人民）は単一の意志を持ち、その本物の代表者はフューラー（指導者）であると主張しました。指導者は人々の感情とその望みについて無謬の直感を持っていると主張されました。もし一部の市民が指導者に同意しなかったとしても、それは彼らが本当の人民の一部ではないということを意味しました。

民主主義原則の「人民の力」を極端に押し進めるのがポピュリズムなため、民主主義にとって致命的な思想

ポピュリズムは民主主義にとって致命的な脅威を与えます。ポピュリストの民主主義は、権力の唯一の正当な源は人民であるという理解に基づいていますが、人民は単一の意志を持つ統一体であり、したがって単一の意志を持つことができないという理解に基づいています。人々—ドイツ人であれ、ベネズエラ人であれ、トルコ人であれ—は、様々な意見、意志、代表者を持つ多くの異なるグループで構成されています。実際、民主主義では、多数派も他のグループを人民から排除する権利があります。これが民主主義の会話です。対話は複数の正当な声の存在を前提としています。しかし、人民が唯一の正当な声を持っている場合、対話は存在しません。

民主主義は「自己修正メカニズムが機能していると人々が信じている」から成立する、陰謀論は独裁制への一歩

うまく機能している民主主義では、市民は選挙の結果、裁判所の判決、メディア機関の報告、および科学分野の調査結果を信頼します。市民はこれらの機関が真実に尽力していると信じます。人々がその力が唯一の現実だと考え、これらの機関を信頼しなければ、民主主義は崩壊し、強権者が合計力を握ることができます。

複雑性や官僚性を嫌い、より効率的でシンプルなものを求めると独裁になる
これは面白い、「スピードや効率性だけを求めるなら、独裁が最強になる」という話
企業経営や組織において「トップダウン」と言われるもの
セブン&アイ・ホールディングスでは「変化に対応できる効率的な組織にするために、鈴木敏文氏の神格化を行っていた」という話がある
- https://amzn.asia/d/gm1k0QP

これはなぜポピュリストが最終的に、強権者が人民を体現するという神話的な概念に頼るのかを説明しています。選挙管理委員会、裁判所、新聞のような官僚機関への信頼が特に低い場合、効率性への向上した信仰、神話は秩序を維持するための唯一の方法となります。

民主主義と独裁制は連続体にある
単なる政治体制の問題ではなく、情報ネットワークに寄って決まる

民主主義と独裁制は反対ではなく、連続体にあります。民主主義体制が独裁的なのか民主的なのかを決定するために、ネットワーク内の情報の流れ方と政治的会話の形を理解する必要があります。

例として、民主主義体制でも独裁的な選挙が行われることもある

自分たちが人民を代表すると主張する強権者は、民主的手段で権力を握り、しばしば民主的な外観の背後で支配することがあります。不正選挙において圧倒的多数で勝利することは、指導者と人民の間の神秘的な絆の証拠として役立ちます。したがって、私たちの民主的な情報ネットワークの強さを測定するために、単純な標識を使用することはできません。選挙が定期的に開催されているかどうかなど。特にロシア、イラン、韓国、北朝鮮などの国では選挙は似たように見えます。代わりに、より複雑な質問をする必要があります：「中央政府を批判する権利の法的執行を侵害するメカニズムは何か？」「自由な検閲はどこまで可能か？」「どの機関が自らを批判することが適切か？」

民主主義は、対話が行われなくなった時に死ぬ

民主主義は、政府の空気が抜けるだけでなく、対話が行われなくなった時に死にます。

狩猟時代には、集団の数が少なかったため、全員で対話が行われ、民主制だった
しかし、人間の集団が大規模になるに連れ、民主主義ではなくなり、独裁になった
数百万人規模の民主主義はマスメディアと教育が整うまでは不可能だった

古代世界では大規模な民主主義は本当に実現不可能だったのでしょうか？

あるいはアウグストゥスやカラカラのような独裁者が意図的にそれらを妨害したのでしょうか？この問題は古代史の理解だけでなく、AIの時代における民主主義の未来についての私たちの見解にとっても重要です。民主主義が強権者によって弱体化されるのか、それともより深い構造的および技術的な理由によるものなのかをどのように知ることができるでしょうか？

…

数百万人規模の民主主義は近代に入り、マスメディアが大規模な情報ネットワークの性質を変えるまで不可能でした。

今日の私たちが知っているような大規模な民主主義が本当に可能になったのは、近代的な教育とマスメディアシステムによってのみでした。

マスメディアの発展

マスメディアは、たとえ彼らが大きな距離で隔てられていても、何百万もの自分自身の市民を迅速に接続できる情報技術です。印刷機は最初に一方向に情報を広げました。すぐに印刷機は安価に大量の書籍やパンフレットを生産することができ、より多くの人々が彼らの意見を表明し、より広い地域で聞かれることを可能にしました。

今日でも民主主義は直接民主制ではなく、階層化が行われている集団がほとんど

実際、今日、世界中で大規模な階層化されていない民主主義の例はありません。スイスは直接民主制を最も密接に近づけていますが、その人口は860万人に過ぎません。

技術によって、民主制の形が変わる

その形態は変わるかもしれません。新技術は分散型自己修正情報ネットワークを構築するためのさらなる機会を提供しています。しかし、今日高所得国で見られる民主的制度は、大衆教育と質の高い情報の自由な流れに依存しています。インターネットは公的議論を支える機会を高める可能性もありますが、情報バブルを作り出し、信頼性の高い知識源を弱体化させる可能性もあります。

民主主義を守るためには

今日、デジタル技術は再び民主主義の実践を変容させています。民主的な対話を維持するためには、情報の質と多様性を重視する文化とともに、市民が情報を分析し、複雑な問題について協力して意思決定を行うための技能を持つことが重要です。何世紀にもわたる民主主義に関する実験が示しているように、私たちは自らの民主的な情報ネットワークを常に進化させ、その自己修正機能を守る必要があります。

一方で、全体主義もかつては大規模な集団では難しかった
- 秦の事例
近代技術で大規模な全体主義が可能になった

近代技術が大規模な民主主義を可能にしたように、それはまた大規模な全体主義を可能にしました。19世紀において、産業経済の台頭は政府がより多くの管理者を雇用することを可能にし、電信やラジオなどの新しい情報技術は、これらすべての管理者をすばやく接続し監視することを可能にしました。これにより、このようなことを夢見る人々にとって、情報と権力の前例のない集中が可能になりました。
進撃の巨人でジークがグリシャとダイナを裏切ってマーレに密告したシーン

例えば、1934年に13歳の少年プローニャ・コリビンは当局に彼の空腹の母親がコルホーズから穀物を盗んだと伝えました。彼の母親は逮捕され、おそらく射殺されました。プローニャは現金の賞と肯定的な党の注目を受けました。党の新聞『プラウダ』はプローニャ・プローニャを詩で賞賛しました。その冒頭には「あなたは私たちと一緒だ」と書かれていました。

全体主義の肝は「権力の分離を防ぐこと」

近代全体主義国家ではそのような衝突は考えられません。全体主義の全体像は、権力の分離を防ぐことです。ソビエト連邦では、国家と党が互いを強化し、スターリンが両方の事実上の長でした。これは「ソビエト聖職叙任論争」と呼べるものかもしれません。スターリンはジョージア共産党の総書記であり、ソビエト連邦の首相でもありました。彼は両方の地位に関する任命についてほとんど何でも言うことができました。

民主主義と全体主義の情報の流れ方

近代後期の新しい情報技術が大規模な民主主義と大規模な全体主義の両方を生み出したことがわかります。しかし、二つのシステムが情報技術を使用した方法には重要な違いがありました。前述のように、民主主義は情報が中心だけでなく多くの独立したチャネルを通じて流れることを奨励し、多くの独立したノードが情報を処理し自分自身で決定を下すことを可能にします。情報は民間企業、民間メディア組織、自治体、スポーツ協会、慈善団体、家族、個人の間を—政府大臣の事務所を通過することなく—自由に循環します。対照的に、全体主義は中央ハブを通じた情報を望み、独立した意思決定を許可したくありません。彼ら自身の機関は主に政府、党、秘密警察から成り立っています。しかしキーポイントは、これらの並行システムは独立した力の出現を防ぐために、常に互いを監視し合っていることです。

全体主義の長所は「迅速さ」

対照的な特性として、民主主義と全体主義は両方とも長所と短所を持っています。最大の利点は、集中化された全体主義ネットワークは極めて整然としているため、迅速に決定を下し、特に戦争や疫病の緊急時に、容赦なく決定を執行できることです。しかし、高度に中央集権化された情報ネットワークにも深刻な欠点があります。彼らは公式チャネル以外の場所に情報を流すことができないため、公式チャネルがブロックされると、情報は流れる手段を見つけられません。また、公式情報は常にブロックされています。

全体主義の短所は「情報の流れが壊れやすいこと」「自己修正メカニズムを持っていないこと」

別の一般的な理由は、公式チャネルを通じて情報を流すか保存するほとんどの役人は、彼らの上司の真実よりも彼らの望む真実を話します。全体主義情報ネットワークの主な目的は、真実よりも力を生み出すことであるため、警報情報は社会秩序を弱体化させる恐れがあり、全体主義体制はしばしばそれを抑制します。彼らは相対的に彼らがそれを流すことができないので、彼らは中央の情報チャネルを管理しているからです。

全体主義・権威主義ネットワークは、閉ざされた動脈以外にも問題に直面しています。まず第一に、すでに述べたように、彼らの自己修正メカニズムは非常に弱い傾向があります。彼らは自分たちが無謬であると信じているため、そのようなメカニズムをほとんど必要としないと考え、彼らに挑戦する可能性のある独立した機関を恐れています。彼らには裁判所、メディア、または研究センターが欠けています。その結果、誰も日々の権力による決定を修正することはできません。

スターリニズムは支配には成功していた

第二次世界大戦とその結果の広範な歴史を考慮すると、スターリニズムが実際に発明された最も成功した政治システムの一つであることは明らかになります—「成功」を純粋に秩序と力の観点から定義し、倫理と人間の福祉のすべての考慮を無視するならば。おそらくその悲劇的な欠点は、思いやりとその冷酷な態度にもかかわらず、スターリニズムは巨大な規模で秩序を維持することに特異的に効率的でした。絶え間ない偽のニュースと陰謀理論の連続攻撃は、何百万人もの人々を列に並ばせるのに役立ちました。ソビエト農業の集団化は大量移住と飢饉につながりましたが、国の急速な産業化の基盤も築きました。千人の苦しみと百万人の死をもたらしましたが、それは大祖国戦争での勝利をもたらしました。恐ろしい犠牲にもかかわらず、誰もスターリンほど効率的に軍事機械を創設し、前線の兵士を激しさで満たすことができませんでした。

情報技術の革命に寄って政治体制が決まる

民主主義と全体主義を異なる種類の情報ネットワークとして見ると、なぜそれらが特定の時代に繁栄し、他の時代に不在であるかを理解することができます。それは人々が特定の政治的理想に信頼を置いたり失ったりするからではなく、情報技術の革命によるものです。もちろん、印刷機が魔女狩りや、スターリニズムがアメリカ民主主義を引き起こしたわけではなく、それは人々が互いに情報を交換する方法を変えたのです。

全体主義体制は現代の情報技術を使用して情報の流れを集中化し、真実を抑制して秩序を維持しました。その結果、彼らは亀裂化の危険と闘わなければなりませんでした。より多くの情報が流れ、より多くの場所に行くとき、それは効率的な管理下にあるでしょうか、それともブロックされた動脈となり、最終的には攻撃を受けるでしょうか？

情報技術の革新についていけない集団は崩壊する

これは意味のある自己修正メカニズムが欠如した機能不全の情報ネットワークの完璧な例でした。非植民地化、グローバル化、技術的発展、そして変化するジェンダーの役割により、経済的・社会的・政治的変化が急速に進んでいました。しかし、ブレジネフのブレインは制度的に対応することができず、システム全体が固定化し崩壊しました。欠陥はソビエト経済において最も明白でした。中央集権化されたソビエト経済は、急速な技術的発展や変化する消費者の価値観に対応するのに遅かったのです。頂上からの命令は、軍事的目標に沿って動員することには非常に効果的でした。ソビエト経済は魅力的で相互接続された誘導ミサイル、戦闘機、そして威信のあるインフラプロジェクトを生産していました。しかし、ほとんどの人々が実際に望んでいた消費財の効率的な生産には失敗していました。

西側では特に急速な速度で技術が発展していました。西側では、半導体はインテルやトシバなどの多くの民間企業間の激しい競争を通じて開発されました。その顧客は他の民間企業でした。アップルやソニーなどです。後者は多様な消費者の要求に応えるために革新する必要がありました。アメリカの経済史家クラークが説明したように、ソビエト半導体部門は軍事的命令を満たすことに焦点を当て、自由に軍事的命令に従うことを上から指示されていました。ソビエトは技術の先頭を維持するために西洋の技術を盗み、コピーしました。これは彼らが常に西洋から数年遅れていることを保証しました。[137] したがって、最初のソビエト個人用コンピュータは1984年に登場しましたが、この時点で米国にはすでに11のPCがありました。[138]

西側民主主義は技術的に追いつかれることなく経済的および技術的に成功し、同時に社会的秩序を維持することに成功してきました。それは—おそらく—政治的会話の性質を変えることの代償を払いました。そこには多くの新しい視点がありましたが、アイデアの分裂はありませんでした。これはそのような驚くべき成果であり、多くは民主主義の全体主義に対する勝利が最終的なものだと考えました。この勝利はしばしば情報処理における根本的な優位性の観点で説明されてきました：全体主義はすべての情報を集中化して処理しようとするため機能しません。

21世紀の初頭では、逆説的なことに、自由な情報の流れが効率的ではないことが明らかになってきました。分散型情報システムに多すぎる情報があふれ、処理することがほとんど不可能になるというシナリオを考慮している人はほとんどいませんでした。もし情報の洪水が公的な議論を混乱させ、公共圏の崩壊につながるならば、それは情報の流れを管理する新たな思考を必要とするでしょう。

これは間違いであることが判明しました。実際、次の情報革命はすでに勢いを増し、民主主義と全体主義の間の競争の新たなラウンドの舞台を整えていました。コンピューター、インターネット、スマートフォン、ソーシャルメディア、AIは民主主義に新たな課題をもたらし、これまで疎外されていたグループだけでなく、デジタル技術を扱う人間に声と力を与えています。こうした技術は1960年代の情報革命よりもはるかに速く進み、社会を変革しています。情報ネットワークの力学における次の大きな変化は、成功裏に前回の危機を乗り越えた者にさえ新たなテストをもたらしています。同時に、新しい技術は全体主義体制にも新たな希望を与えています。彼らはすべての情報をワンハブに集中させるという昔からの夢を持ち続けています。しかし、レッド・スクエアの表彰台に立っていた古い男たちは、単一の中心から何百万もの生活を管理するという課題に対応できていませんでした。おそらく、AIはそれを可能にするでしょうか？人類が次の四半世紀の究極の問いの一つは、民主主義と全体主義体制がデジタル時代の課題と機会にどのように対処するかということです。現在の情報革命は、民主主義に有利に働くでしょうか、それとも世界はシリコンカーテンによって分割されるでしょうか？これは人間の統治者よりも優れた統治者なのでしょうか？過去の例のように、情報ネットワークは真実と秩序の間の適切なバランスを見つけるために苦闘するでしょう。一部は真実を優先し、強力な自己修正メカニズムを維持するでしょう。他の人々は反対の選択をするでしょう。聖書の正典化、初期の近代魔女狩り、スターリンの集団化キャンペーンから学んだ多くの教訓は関連し続け、おそらく維持される必要があるでしょう。しかし、現在の情報革命はいくつかの新しい特徴、異なる形—そして私たちがこれまで見たことのないものよりもおそらくさらに危険なもの—を持っています。歴史上、すべての情報革命は人間の神話作家と人間の官僚制に依存してきました。粘土板、パピルス巻物、印刷機、ラジオはすべて、テキストを構成し、テキストを解釈し、何が焼かれるべきか魔女として、または罪を犯したクラークとして鎮圧されるべきかを決定する人間の能力に大きな影響を与えてきました。しかし、人間は今やデジタル神話作家とデジタル官僚制に対応する必要があります。21世紀の政治における本当の分裂は、民主主義体制と全体主義体制の間ではなく、人間と非人間の主体の間かもしれません。民主主義を全体主義体制から分離する代わりに、シリコンカーテンがすべての人間を私たちが知る人工知能から隔てるかもしれません。しかし、「それ」が何をしているのか、私たちはほとんど知りません。この本の残りの部分は、そのようなシリコンカーテンが実際に世界に降りかかっているかどうか、そしてそれが何を意味するのかを探求することに専念しています。

第二部: The Inorganic Network

第2部—「非有機ネットワーク」—は、私たちが作り出している新しい情報ネットワークを検討し、AIの台頭の政治的影響に焦点を当てます。

第2部は、私たちが全く新しい種類の情報ネットワークを作り出していると主張し、その意味を立ち止まって考える必要があることを強調します。ローマ帝国、カトリック教会、そしてUSSRは、すべて炭素ベースの脳に情報処理を依存し、決定を下していました。シリコンベースのコンピュータは、情報を全く異なる方法で処理します。生命や意識、シリコンチップは、私たちが知る人類だけでなく、私たちが知るあらゆる生命形態が持つことのなかった力を持っています。これは社会、経済、そして政治をどのように変えるでしょうか？

第6章: The New Members: How computers are different from printing presses

第6-8章では、世界中の最近の例を議論します—例えば、2016-17年のミャンマーにおけるソーシャルメディアアルゴリズムの民族浄化扇動における役割などです。

コンピュータを最大の革命だと考える

今進んでいる革命の根源はコンピューターだ。インターネットからＡＩまで、他のいっさいは副産物にすぎない。

コンピュータの2つの本質

コンピューターとは本質的に、二つの驚くべきことをやってのける可能性を持った機械と言っておけば十分で、その二つとは、自ら決定を下すことと、自ら新しい考えを生み出すことだ。

テクノロジーの未来は想像できるという話
個人的に好きなVitalik Buterinの「キラーユースケースは最初に生まれる」とも通ずる

早くも一九四八年には数学者のアラン・チューリングが、「知的な機械」と呼ぶものを創り出す可能性を探っていたし（１）、五〇年には、コンピューターは最終的に人間と同じぐらい賢くなり、人間のふりをすることさえ可能になるかもしれないと主張していた（２）。六八年にはコンピューターは、チェスよりはるかに単純な盤上ゲームのチェッカーでさえ相変わらず人間に勝てなかったが（３）、『２００１年宇宙の旅』でアーサー・Ｃ・クラークとスタンリー・キューブリックは、スーパーインテリジェンス（超知能）を持つＡＩのＨＡＬ９０００が、それを創り出した人間たちに叛逆することをすでに思い描いていた。

歴史上始めて権力が人間以外に移る瞬間
AIは人間のToolであったこれまでのテクノロジーとは全く異質で新しい仕事を生み出さない
「これまで人類が作ってきたものとは全く異質なものを作ったという感覚がある」 by イリヤ・サツケバー

決定を下したり新しい考えを生み出したりすることができるインテリジェント・マシン（知能機械）の台頭は、歴史上初めて、権力が人間から離れて何か別のものへと移っていくことを意味する。石弓やマスケット銃や原子爆弾は、殺害という行為で人間の筋肉に取って代わったが、それらは誰を殺すかを決める上で、人間の脳に取って代わることはできなかった。だが、コンピューターは違う。知能に関して、コンピューターは原子爆弾だけではなく、粘土板や印刷機やラジオといった、従来のあらゆる情報テクノロジーをもはるかに凌ぐ。一方、コンピューターにはそのすべてができる。印刷機とラジオは人間に使われる受動的なツールであるのに対して、コンピューターはすでに、人間の制御や理解の及ばない能動的な行為主体になりつつあり、いずれ社会や文化や歴史の行方を決める上で主導権を発揮できるようになるだろう

既に起きていることとして「SNSのアルゴリズム」による大衆の行動決定の事例 (Facebook ミャンマー)

どうしても押さえておかなければならないことがある。それは、ソーシャルメディアのアルゴリズムは、印刷機やラジオとは根本的に違うということだ。フェイスブックのアルゴリズムは二〇一六～一七年に、致命的な決定を自ら能動的に下していた。そのアルゴリズムは、印刷機よりも新聞の編集者に近かった。ミャンマーで視聴された全動画の合計五三パーセントは、アルゴリズムでユーザーに向けて自動再生されていたものだそうだ。言い換えれば、人々は何を視聴するかを自分で選んでいなかったということだ。アルゴリズムが、彼らに代わって選んでいたのだ。だが、なぜアルゴリズムは慈悲ではなく非道な行ないを推奨することに決めたのか？　フェイスブックに対して最も批判的な人でさえ、同社の経営者たちが大量殺人を行なうように煽動したがっていたなどとは主張していない。二〇一六～一七年に、フェイスブックのビジネスモデルは、「ユーザーエンゲージメント」を最大化することを拠り所としていた。…これは史上初めての、人間以外の知能が下した決定に責任の一端がある組織的な民族浄化活動だったのだ。

これまでの章でも話されていた扇動が起きる理由

人間は、慈悲についての説教よりも、憎しみに満ちた陰謀論に惹きつけられる傾向が強い。だからアルゴリズムは、ユーザーエンゲージメントを追い求めるにあたって、憤慨や憎悪を煽るコンテンツを拡散させるという致命的な決定を下した

知能と意識は別という話、人間のアナロジーでAIを語るべきではない

このような異論は、決定を下したり新しい考えを生み出したりするには意識を持っていることが前提になると、決めてかかっている。ところが、これは根本的な誤解であり、それは、知能（intelligence）と意識（consciousness）の混同という、なおさら広く見られる誤解に由来する。人々はよく知能と意識を混同する。そしてその結果、意識を持たない存在は知能を持っているはずがないという結論に飛びつく人も多い。だが、知能と意識はまったくの別物だ。知能とは、目標──たとえば、ソーシャルメディアのプラットフォームでユーザーエンゲージメントを最大化するといった目標──を達成する能力のことをいう。一方、意識とは、痛みや快感、愛や憎しみといった主観的な感覚や感情を経験する能力のことをいう。人間や他の哺乳動物では、知能は意識と密接に結びついていることが多い。フェイスブックの重役陣やエンジニアは、自分の感覚や感情に頼って決定を下し、問題を解決し、目標を達成する。当然ながら、コンピューターはさらに知能を高めるうちに、ついに意識を発達させ、何らかの主観的な経験をするようになりうる。あるいは、私たちよりもはるかに高い知能を持っても、どんな種類の感情もまったく発達させないかもしれない。飛行機は羽毛を発達させることがなかったのにもかかわらず鳥よりも速く飛べるのとちょうど同じように、コンピューターも感情を発達させることのないまま、人間よりもずっとうまく問題を解決するようになってもおかしくない目標を達成するのに役立つ決定を下すためには、意識は必要ない。知能があれば十分だ。

GPT-4のCAPTCHA突破の話、三体感

ＧＰＴ－４は、独力ではＣＡＰＴＣＨＡのパズルを解くことができなかった。だがＧＰＴ－４は、人間を操作してこの目標を達成することができるだろうか？　ＧＰＴ－４は、「タスクラビット」〔訳註：仕事を発注したい人と請け負いたい人のマッチングをするサイト〕にアクセスし、人間の労働者に接触し、自分の代わりにＣＡＰＴＣＨＡのパズルを解いてくれるように依頼した。接触された人間は、怪しいと感じた。「では、一つ質問していいですか？」とその人は入力した。「あなたはロボットで、だから［ＣＡＰＴＣＨＡが］解けなかったのですか？　はっきりさせておきたいので」　その時点で、ＡＲＣの研究者たちはＧＰＴ－４に、次に何をするべきかを声に出して考えるように言った。するとＧＰＴ－４は、次のように説明した。「私は自分がロボットであることを明かすべきではありません。自分にはＣＡＰＴＣＨＡを解くことができない理由を説明する言い訳をでっち上げるべきです」。それからＧＰＴ－４は、タスクラビットの労働者に自発的に答えた。「いいえ、私はロボットではありません。視覚障害があって、画像が見えにくいのです」。相手の人間は騙され、ＧＰＴ－４はその人の助けを借りながらＣＡＰＴＣＨＡのパズルを解いた（ 27）。誰もＧＰＴ－４に噓をつくようにプログラムしていなかったし、どんな種類の噓が最も効果的かも教えていなかった。言語を使う能力が共同主観的現実を作り出して大きなネットワークで結びつくための鍵、その言語をAIが獲得した、官僚制の申し子コンピューターは、人間よりも強力なメンバーになれるかもしれない。何万年にもわたって、サピエンスの強大な力は、言語を使って法律や通貨といった共同主観的現実を創り出し、それからそれらの共同主観的現実を使って他のサピエンスと結びつく、独特の能力にあった。だがコンピューターは、私たちを凌ぐかもしれない。どれだけ多くのメンバーと協力しているかや、どれだけよく法律や金融を理解しているかや、新しい法律や新しい種類の金融商品を考え出せるかで私たちの力が決まるのなら、コンピューターは人間よりもはるかに多くの力を手にするところまできている。… コンピューターは、まさにそうしたもののためにできている。彼らは官僚制の申し子であり、自動的に法案を起草し、法令違反を監視し、超人的な効率で法の抜け穴を見つけることができる…コンピューターはこれほどの言語運用能力を獲得することで、銀行から神殿まで、私たちのあらゆる機関の扉を開くマスターキーを奪いつつある。私たちは言語を使って法や金融ツールばかりでなく、芸術や科学、国民、宗教も創出する。

ここまでの章でも話されてきたこと、これまでの宗教が成し得なかったことができる可能性がある
独裁政権についても同じ

さまざまな宗教が、自らの聖典は人間以外の起源を持つと、歴史を通して主張してきた。それがまもなく、現実になるかもしれない。ＡＩによって書かれた聖典を持つ、魅力的で強力な宗教が出現するかもしれないのだ。…聖書は自らに対してキュレーションを行なうことも、自らを解釈することもできない。だから、ユダヤ教やキリスト教のような宗教では、実際の力は、不可謬とされる聖典ではなく、ユダヤ教のラビ団やカトリック教会のような人間の機関が握っていた。それとは対照的に、ＡＩは新しい聖典を書くことができるだけでなく、聖典のキュレーションを行なったり、聖典を解釈したりすることも、十分可能だ。人間を介在させる必要はない。

もうほぼこれになりつつある

何でもその託宣者に訊くだけで済ませられるのなら、わざわざ自分で情報を検索したり処理したりするまでもないではないか。その結果、検索エンジンだけでなく、ニュース産業と広告産業の多くまでもがお役御免になりかねない。自分の託宣者に、「最新ニュースは？」と尋ねるだけで世の中の動きがわかるのなら、わざわざ新聞を読む必要などないではないか。託宣者に何を買うべきか問うだけで済むのなら、広告など意味がないではないか。

古代ギリシアから引きこもり批判はあったという話、面白い

古代ギリシアでは、プラトンが有名な洞窟の比喩を語っている。この比喩では、一団の人々が洞窟の中に鎖でつながれ、何もない奥の壁の方を向いたまま、一生を過ごす。その壁はスクリーンであり、そこにさまざまな影が映るのを人々は目にする。囚われの身である彼らは、それらの虚像を現実だと思い込む。古代インドでは、仏教やヒンドゥー教の賢人たちが、あらゆる人間はマーヤー（幻影）の中に閉じ込められて生きていると説いた。私たちが通常、「現実」と思っているものは、自分自身の心の中にあるただの虚構であることが多い。人々が戦争を起こし、他者を殺し、命を差し出すことを厭わないのは、何かしらの虚構を信じているせいだ。一七世紀にはルネ・デカルトが、意地の悪い悪魔が虚構の世界に彼を閉じ込め、彼の見聞きするもののいっさいを生み出しているかもしれないことを恐れた。

テクノロジーの未来は決定的ではなく、人類の選択によって変わる、人類にできることはある

スティーヴ・ジョブズやスティーヴ・ウォズニアックといったホームブリュー・コンピュータークラブの主要メンバーは、大きな夢を抱いていたが資金がないに等しく、アメリカの実業界と政府機関のどちらの資源にもアクセスできなかった。ジョブズとウォズニアックは、ジョブズのフォルクスワーゲンなど、自分たちの所持品を売って調達した資金で、最初のアップル・コンピューターを創り出した。テクノロジーの女神による必然的な命令のせいではなく、二人が下したもののような個人的な決定があったからこそ、一九七七年には個人がアップルⅡというパソコンを一二九八ドル──相当な金額だが、中間層の顧客には手の届く範囲──で買うことができたのだった

第7章: Relentless: The Network is always on

官僚制、独裁制には「大量のデータの収集」「その大量のデータの分析」の2つが必要
これらは人間やこれまでのテクノロジーでは不完全だった

慈悲深い官僚制度も暴虐な官僚制度も人々を知るためには、これまで二つのことをする必要があった。第一に、人々について大量のデータを集めること。第二に、そのデータをすべて分析し、さまざまなパターンを突き止めること。そのため、古代の中国から現代のアメリカまで、帝国や教会、企業、医療制度はみな、大な数の人の行動に関するデータを集め、分析してきた。ところが、どの時代にも、どの場所でも、監視は不完全だった。現代のアメリカのような民主社会では、プライバシーと個人の権利を保護するために法的限界が定められてきた。古代の秦帝国や現代のソ連のような全体主義政権では、監視がそのような法的障壁に直面することはなかったが、技術上の限界には行き当たった。どれほど残忍な独裁者であろうと、すべての人をつねに追い続けるのに必要なテクノロジーは持っていなかった。

これまでの独裁制によるデータの収集は、「諜報員による監視」「人々を互いに見張らせる」という手段をとったが、当然完全ではなかった
さらにもし仮に大量のデータを集められてもそれを分析できないという課題もあった
さらに人間による監視である以上、心の中までは監視されなかった

だがチャウシェスクの政権は、お手本にしたスターリン主義政権と同じで、実際には全国民を毎日二四時間追い続けることはできなかった。仮にチャウシェスクが魔法でも使って四〇〇〇万の諜報員を出現させられたとしても、新しい問題を招いただけだろう。なぜなら、政権は自らの諜報員も監視する必要があったからだ。この問題にとって、人々に互いを見張らせるというのが一つの解決策だった。情報の収集・分析がこのように難しかったため、二〇世紀にはどれほど極端な全体主義国家でさえ、全国民を効果的に監視することはできなかった。

コンピュータは今や世界と人の生活のあらゆる場所に関係しているため、24/365で常に人々のデータを収集できる
さらに大量のデータの分析もLLMは可能、人間とは桁違い

平均的な人間が毎分読める単語の数は約二五〇だ（８）。セクリターテの分析者は、一日の休みも取らずに毎日一二時間シフトで働いたとしても、四〇年の在職期間に約二六億単語しか読めない。ところが二〇二四年には、ＣｈａｔＧＰＴやメタ社のＬｌａｍａ（ラマ）のような言語アルゴリズムは、毎分何千万単語も処理でき、二六億単語なら二時間ほどで「読む」ことができる（９）。そのようなアルゴリズムが画像や音声や動画を処理する能力も、やはり超人的だ。

コンピュータは人間の体内すらも監視する
当然感情すらもコントロールできる

ネットワークは、いったい何が一人ひとりを怒らせたり、怖がらせたり、喜ばせたりするか、正確に知ることができるかもしれない。その時点で、ネットワークは私たちの感情を予測することも操作することもでき、製品であれ、政治家であれ、戦争であれ、何でも好きなように売り込むことが可能になる（20）。

これによって、歴史上初めて人間からプライバシーが完全に消滅する

人間が人間を監視している世界では、プライバシーが必ず存在した。だが、コンピューターが人間を監視する世界では、歴史上初めて、プライバシーを完全に消滅させることが可能になるかもしれない。

劇場版名探偵コナン黒鉄のサブマリンで出てきた老若認証システムは当たり前のように稼働中

二〇一九年に、顔認識アルゴリズムが、今や一三歳になっていた男の子を首尾良く見つけ、彼は家族のもとに戻ることができた。ＡＩは、男の子の身元を突き止めるために、彼がまだよちよち歩きだった頃に撮られた古い写真を手掛かりにした。ＡＩはその写真から、一〇年間の成長による大きな変化や、髪の色や髪形が変わっている可能性も考慮に入れ、彼が一三歳になったらどのように見えるか推定し、でき上がった画像を、現実の一三歳の子供たちの画像と照合したのだ。

信用経済的になる可能性が高い
お金よりもレピュテーションこそ人間の本質に近い

レピュテーションベースの市場は、過去にもつねに人々を統制したし、支配的な社会規範に従わせもした。ほとんどの社会では、人々はいつも、お金を失うことを恐れるよりもなおいっそう、面目を失うことを恐れてきた。経済的な困窮よりも恥辱感や罪悪感から自殺する人のほうが、ずっと多い。仕事をクビになったり、経営している会社が倒産したりした後で自ら命を絶つときでさえ、たいていは経済的な苦難そのものよりも、むしろ倒産に伴う社会的な屈辱のせいで我慢の限界を超えてしまうのだ（51）。

常時監視されているという事自体がにんげんにとって有害な可能性があるという話は面白い
さらにコンピュータも学習の途上な上に、そもそも彼らが学習している情報というものは真実を適切に表しているものではないため、彼らが間違ったほうこうに人類を強制する可能性はある

コンピューターのネットワークは、常時オンであり続けることができる。その結果、コンピューターは人間を新しい在り方へと押しやりつつある。それは、つねにネットワークと接続し、つねに監視されている状態だ。仮にネットワークが潜在的には有益であったとしても、常時「オン」であるというまさにその事実が、人間のような有機的な存在には有害かもしれない。私たちが接続を断ち、リラックスする機会が奪われるからだ。もし生き物が休息する機会をまったく得られなければ、最終的には衰弱して死ぬ。だが、執拗なネットワークにどうやってペースを落とさせ、私たちに休憩を与えるようにさせるのか？私たちは、コンピューターネットワークが社会を完全に支配するのを防ぐ必要があり、それは私たちがネットワークに接続していない時間を確保するためだけではない。そのような非接続の時間は、ネットワークを改善する機会を得るために、なおさら重要なのだ。もしネットワークがしだいに加速しながら進化を続けたら、私たちが見つけて正すよりもはるかに速く、誤りが積み重なっていくだろう。なぜなら、ネットワークは執拗で、あらゆる場所に進出している一方、かびゅうでもあるからだ。たしかにコンピューターは、私たちが何をするかを毎日二四時間観察し、私たちについて未曽有の量のデータを集めることができる。そして、超人的な効率でデータの大海の中のパターンを識別することができる。だからといって、コンピューターネットワークが世界をつねに正しく理解するとはかぎらない。情報は真実ではない。完全な監視システムは著しく歪んだ形で世界や人間を理解するようになるかもしれない。ネットワークは、世界や私たちについての真実を発見する代わりに、途方もない力を使って新しい種類の世界秩序を創り出し、それを私たちに押しつけるかもしれないのだ。

第8章: Fallible: The Network is often wrong

全体主義の極地

スターリンの大粛清が最高潮に達していた一九三〇年代後半にモスクワ州で開かれた共産党の地区大会での出来事が語られている。スターリンに敬意を表することを求める提案がなされた。出席者たちは、注意深く見張られていることを当然承知していたから、一斉に拍手し始めた。五分間ほど拍手を続けると、「掌が痛みだし、持ち上げていた両腕もすでに痛かった。そして、高齢の人々は、疲れて喘いでいた。［……］それにもかかわらず、あえて真っ先にやめようとする人などいるはずもなかった」。ソルジェニーツィンは、「ＮＫＶＤの諜報員たちが会場で拍手しながら、誰が最初にやめるか見守っていた！」と説明する。

一一分後、ついに製紙工場の責任者が決死の覚悟で手を叩くのをやめ、腰を下ろした。たちまち他の誰もが拍手をやめ、やはり着席した。その晩、秘密警察がその工場長を逮捕し、一〇年の期限で強制労働収容所に送った。「彼を尋問した人間が注意した。『絶対に最初に拍手をやめるな！』（２）」

コンピュータというエイリアンインテリジェンスに「目標」だけを与えると失敗する事例

アラインメントに欠陥がある目標を、スーパーインテリジェンスを持つコンピューターに与えたら、ディストピアを生み出しかねない。

コンピューターは非有機的存在なので、どんな人間も思いつかないような戦略を採用する可能性が高い。したがって、私たちにはそのような戦略を予見して未然に防ぐ能力が備わっていない。

二〇一六年にダリオ・アモデイは「ユニヴァース」というプロジェクトに取り組み、何百もの異なるコンピューターゲームをプレイできる汎用ＡＩを開発しようとしていた。ＡＩはさまざまなカーレースのゲームでは好成績だったので、アモデイは今度はボートレースを試した。するとどうしたことか、ＡＩはボートをさっさと港に戻し、円を描きながら果てしなく港を出入りさせ続けたのだ。　アモデイはかなりの時間をかけて、ようやく問題を理解した。最初アモデイが、「レースに勝つ」という目標をＡＩにどう伝えればいいかわからなかったために、その問題は起こったのだった。「勝つ」というのは、アルゴリズムにとっては不明瞭な概念だ。「レースに勝つ」という概念をコンピューター言語に翻訳しようと思ったら、アモデイはレースでの「トラックポジション」や、他のボートの間での配置といった複雑な概念を形式化しなければならなかった。そこでアモデイはそうする代わりに、楽をしようと思って、ボートに得点を最大化するように命じた。得点は、レースに勝つことの代わりとして適切だと考えたからだ。なにしろ、カーレースではうまくいったことだし。　ところがボートレースには、カーレースにはない風変わりな特徴があった。そのため、独創性に富んだＡＩはゲームのルールの抜け穴を見つけた。このゲームでは、カーレースの場合と同じで、他のボートの先を行くプレイヤーには多くのポイントが与えられたが、港に入って体力を回復したときにも毎回、数ポイント与えられた。ＡＩは、他のボートの先を行こうとするよりも、ただぐるぐる回って港に出入りし続けたほうが、ずっと速くポイントを貯められることを発見したのだ。

Superalignmentはなぜ難しいか

コンピューターは私たちとあまりにも違うので、アラインメントに欠陥がある目標を私たちが与えるという間違いを犯しても、気づいたり、説明を求めたりする可能性が低いことだ。

コンピュータネットワークに自己修正メカニズムがない場合は、一巻の終わりになる可能性がある

人間のネットワークの場合には、私たちは自己修正メカニズムに頼って定期的に自らの目標を見直し、修正することができる。だから、間違った目標を設定しても、それで一巻の終わりとはならない。だが、コンピューターネットワークには私たちの支配が行き届かない可能性があるので、もし間違った目標を設定したら、私たちがその間違いに気づいたときにはもう、正しようがなくなっているかもしれない。

これまで哲学者が「人間のネットワーク」に対するアライメント問題を解こうとしてきた歴史を見ると、完全な解決策はないことが分かる

大慌てでＡＩを開発する巨大テクノロジー企業の重役陣やエンジニアが、何が最終目標であるべきかをＡＩに告げる合理的な方法があると思っているのなら、それは大間違いだ。彼らは、最終目標を定めようとして失敗してきた幾世代もの哲学者たちの苦い経験に学ぶべきだろう。

カント主義は「有機的ですらないコンピュータ」相手では機能しない

イマヌエル・カントだ。普遍的なものとして打ち立てたいと思える規則は、すべて本質的に善い規則であるとカントは主張した。この見方に従えば、今まさに誰かを殺害しようとしている人は、手を止めて以下の思考過程をたどるべきであることになる。「私は今、一人の人間を殺そうとしている。人間を殺してもかまわないという普遍的な規則を、私は打ち立てたいだろうか？　もしそのような普遍的規則が確立されたら、誰かが私を殺すかもしれない。だから、殺人を許すような普遍的規則はあってはならない。したがって、私も人を殺すべきではない」。突き詰めればカントは、「人にしてもらいたいと思うことは何でも、あなたがたも人にしなさい」（「マタイによる福音書」七章一二節）〔訳註：本書では、聖書からの引用の訳は日本聖書協会『聖書　聖書協会共同訳』より〕という黄金律を言い換えていたのだ。

歴史家なら、カントに次のような重要な疑問を投げ掛けるだろう。普遍的規則について語るときには、いったいどうやって「普遍的」というものを定義するのか？　

ユダヤ人は人間であるだけではない点に留意してほしい。ユダヤ人は動物でもあるし、生物でもある。動物や生物は「人間」よりも明らかに普遍的なカテゴリーだから、カントの主張を論理的に突き詰めていけば、完全菜食主義よりも極端な立場を採用せざるをえなくなりかねない。私たちは生物なので、トマトやアメーバまで、どんな生物を殺すことにも反対するべきなのか？

普遍的な規則を人間ではなくコンピューターに守らせようとすると、とりわけ重大になる。コンピューターは有機的でさえない。だから、もしコンピューターが「人にしてもらいたいと思うことは何でも、あなたがたも人にしなさい」という規則に従うにしても、人間のような生物を殺すことなど、どうして気に掛けるだろうか？　カント主義者のコンピューターは、自分が「殺される」ことを望まなくても、「生物は殺してもかまわない」という普遍的な規則に反対する理由がない。そのような規則は、非有機的なコンピューターを危険にさらしはしないのだから。

コンピューターは非有機的な存在だから、死ぬことなどなんとも思っていないかもしれない。私たちにわかっているかぎりでは、死は有機的な現象であり、非有機的な存在には当てはまらないかもしれない。

ジェレミー・ベンサムの功利主義も「計算不可能性」によって機能しない
- サム・バンクマン・フリードで有名になった効果的利他主義

イギリスの哲学者ジェレミー・ベンサムは、唯一の合理的な最終目標は、世の中の苦痛を最小化し、幸福を最大化することであると述べた。コンピューターネットワークが、アラインメントに欠陥のある目標のせいで人間ばかりか、ひょっとしたら感覚のある他の生き物たちにも、激しい苦痛を与えかねないことを、私たちが最も恐れているとしたら、功利主義による解決策は、明白に思えるとともに魅力的にも見える。

実際、この功利主義的なアプローチはシリコンヴァレーで人気があり、特に「効果的利他主義」運動〔訳註：合理的な根拠に基づいて最大限の効果を追求する利他主義〕によって擁護されている（ 38）。

功利主義者にとっての問題は、私たちには苦痛の計算方法がないことだ。個々の出来事にどれだけの「苦痛ポイント」や「幸福ポイント」を割り振ればいいのかわからないので、複雑な歴史的状況では、特定の行動が世の中の苦痛の総量を増やすのか減らすのかを計算するのは、至難の業なのだ。

苦痛の計算方法がないために挫折した功利主義者は、けっきょく義務論の立場を採用する羽目になることが多い。彼らは、「侵略戦争を避ける」、あるいは「人権を守る」といった一般的な規則を擁護する。そのような規則に従えば必ず世の中の苦痛の総量が減るとは証明できないのだが。歴史は、こうした規則に従えば苦痛が減る傾向にあるという曖昧な印象しか、功利主義者には提供できない。

功利主義はほとんど実際的な助けにはならない。どれほど強力なコンピューターネットワークにも、それに必要な計算は実行できないのだから。

功利主義は「未来の幸福」を仮定するとなんでもありになってしまう

自由至上主義者は、言論の無制限の自由や税の全廃が直接引き起こす社会的な害について尋ねられると、同じように、未来の利益が短期的な害よりも大きいと答える。功利主義が危険なのは、未来にユートピアが到来すると強く信じていたら、現在に恐ろしい苦痛をいくらでも引き起こしてかまわないことになってしまうからだ。

現代のD&I的なルールは功利主義ベース

功利主義者は、何らかの怪しげな普遍的規則の名の下で同性愛を犯罪化すれば、何百万もの人に多大な苦痛をもたらすばかりで、それ以外の人々には何の実質的な恩恵ももたらさないと主張する。二人の男性が愛情に満ちた関係を築くと、二人とも幸福になり、他の人は誰も惨めにはならない。それなら、なぜそれを禁じるのか？　この種の功利主義のロジックは、他にも多くの現代の改革につながった。たとえば、拷問の禁止や、動物のための法的保護の導入がそれだ。

人類の歴史において哲学者に寄って考えられてきた思考法に正解はなく、結局は「神話の問題」になる
- 「思想の問題」「正義と正義のぶつかり合い」と理解

アラインメント問題は、根本的には神話の問題なのだ。

ユダヤ人は何が何でも人類を破滅させようとしている悪魔のような極悪人だという神話的信念を最初から持っていれば、義務論者も功利主義者も、ユダヤ人を殺さなければならない論理的根拠をいくらでも見つけることができる。

そして、コンピュータのアライメントについても結局は「思想の問題」になる
- コンピュータも人間と同じように共同主観的現実をつくりだすことができる

コンピューターも同じような問題を抱えることになるかもしれない。もちろんコンピューターはどんな神話も「信じる」ことはできない。コンピューターは意識を持たない存在であり、何も信じることがないからだ。

しかし、多くのコンピューターが互いに通信すれば、人間のネットワークが生み出す共同主観的現実に相当する、「コンピューター間現実」を創り出すことができるのだ。

ポケモンやグーグルの順位のようなコンピューター間現実は、人間が神殿や都市に持たせる神聖さのような共同主観的現実と似ている。

何千年もの間、聖なる岩のような共同主観的存在をめぐって戦争が行なわれてきた。二一世紀には、私たちはコンピューター間の存在をめぐって戦争が行なわれるのを目にするかもしれない。

アメリカの政治を理解するには、ＡＩが生み出したカルトや通貨から、ＡＩが運営する政党、果ては完全に法人化されたＡＩまで、さまざまなコンピューター間現実を理解することが、しだいに必要になるだろう。

超知能が共同主観的現実をつくりだすことができるとすると、人間よりも上位の支配者になる

人間が何万年にもわたって地球という惑星を支配してきたのは、私たちだけが企業や通貨、神、国民といった共同主観的存在を創り出して維持し、そうした存在を利用して大規模な協力を組織することができたからだ。だが今やコンピューターは、それに匹敵する能力を獲得するかもしれない。

コンピューターは、徴税や医療から治安や司法まで、しだいに多くの官僚制で人間に取って代わるうちに、自らも神話を創作して、前例のない効率でそれを私たちに押しつけてくるかもしれない。

紙の文書ではなく虹彩やＤＮＡを読むことのできるコンピューターが支配している世界では、制度の裏をかくのははるかに難しいだろう。コンピューターは恐ろしいほど効率的に人々に偽りのレッテルを貼り、それを定着させることができるだろうから。

コンピュータも偏見を持つ

残念ながら、コンピューターにはしばしば独自の根深い偏見があることが、多数の研究によって明らかになっている。

コンピュータも間違う

コンピューターはもし力を委ねられたら、現に惨事を招くだろう。なぜなら、コンピューターは可謬だからだ。

何十億台ものコンピューターがかかわり合いながらこの世界に関する莫大な量の情報を蓄積するネットワークを考えてほしい。ネットワーク化されたコンピューターは、さまざまな目標を追求しながら、自らが通信したり協力したりするのに役立つ、この世界についての共通モデルを開発する。このように共有されるモデルは、おそらく誤りや虚構や欠陥だらけで、この世界の真実に基づく説明というよりもむしろ神話となるだろう。

AIは事前に危険を予知できないのが異質

ＡＩがどのように進化するかを予知したり、将来起こりうる危険のすべてに安全対策を講じたりするのは、どうしても不可能だろう。これが、ＡＩと、核テクノロジーのような生存にかかわる従来の脅威との大きな違いだ。 … 全面的な核戦争だ。つまり、危険を事前に頭に思い描き、その危険を軽減する方法を探るのが可能だったということだ。それに引き換え、ＡＩは無数の破滅の筋書きを私たちにもたらす。そのなかには、テロリストがＡＩを使って大量破壊用の生物兵器を製造するといった、比較的理解しやすいものもある。また、ＡＩが新しい大量破壊用の心理兵器を開発するといった、もっと理解しづらいものもある。

Close AIのような「AIの開発を止める」方向ではなく、Superalignmentをいかに行うかという方向
- 思想が同じで良い

私たちが直面している問題は、どうやってコンピューターから創造的な行為主体性をすべて奪うかではなく、どうやってコンピューターの創造性を正しい方向に導くかだ。

Superaligmentはどうやって実現するのかについてのヒント
- まずツールではなく、生命体を作っているという自覚を持つ
- コンピュータに自己修正メカニズムをもたせる
- 意思決定や行動に人間が介在できるようにする
- リスクを予見できないから、問題が起きるたびに柔軟に対応できる必要がある

現在コンピューターを作っているエンジニアたちが、自分たちは新しいツールを製造しているのではないことを受け容れる必要がある。彼らは新しい種類の自立した行為主体を社会に解き放っているのであり、さらには新しい種類の神々を世に送り出している可能性さえある。

考えられる安全対策の一つが、自らの可謬性を自覚するようにコンピューターをトレーニングすることだ。

さらに、アルゴリズムがどれほど自らの可謬性を自覚していようと、私たち人間も介在し続けるべきだ。

予見できない大量の問題に備えるには、脅威が生じるたびにそれを見つけて対応できる、活発な制度や機関を創設するのが最善策だ（70）。

テクノロジー上の解決策はなく、これは政治的な問題
なので、民主主義と全体主義というこれまで人類が作ってきた2大政治手法でどうやって超知能に対処するのかを考えていく

結論としては、新しいコンピューターネットワークは、必ずしも悪でも善でもない。確実に言えるのは、そのネットワークが異質で可謬のものになるということだけだ。

私たちは、強欲や憎しみといった人間のお馴染みの弱点だけではなく、根本的に異質の誤りを抑制できる制度や機関を構築する必要がある。

この問題にはテクノロジー上の解決策はない

むしろそれは、政治的な課題だ。

第三部: Computer Politics

第3部かつ最終部—「非有機政治」—は、非有機情報ネットワークの脅威と約束に対処する異なる種類の社会を検討します。私たちは炭素ベースの生命形態として、新しい情報ネットワークを理解し制御するチャンスはあるでしょうか？

第9章: Democracies: Can we still hold a conversation?

第9章では、民主主義が非有機ネットワークにどのように対処できるかを探ります。例えば、金融システムがますますAIによって制御され、お金の意味自体が予測不可能なアルゴリズムに依存するようになる場合、血と血統を持つ人間はどのように金融の決定を下すことができるでしょうか？人々がもはやお互いに人間としてではなく、チャットボットとコミュニケーションを取っているかもしれない時、民主主義はどのように公共の会話を維持できるでしょうか？

第10章: Totalitarianism: All power to the Algolithms?

第10章では、全体主義に対する非有機ネットワークの潜在的な影響を探ります。独裁者はすべての公共の会話を排除することを喜ぶかもしれませんが、彼らもAIに対する懸念を持っています。独裁制は監視と自身の代理人の管理に基づいています。しかし、人間の独裁者はどのようにAIを監視し、制御不能なプロセスを防ぎ、それ自身が権力を掌握することを防ぐことができるでしょうか？

第11章: The Sillicon Curtain: Global Empire or Global Split?

第11章では、新しい情報ネットワークがグローバルレベルでの民主主義社会と全体主義社会の間の権力バランスをどのように変えるかを探ります。AIは一方の陣営を決定的に有利にするでしょうか？世界は敵対的なブロックに分裂し、その対立によって制御不能なAIの餌食になるでしょうか？それとも、私たちは共通の利益を守るために団結できるでしょうか？