ユヴァル・ノア・ハラリ氏が情報の人類史について書いた本
第二部: The Inorganic Network
第2部—「非有機ネットワーク」—は、私たちが作り出している新しい情報ネットワークを検討し、AIの台頭の政治的影響に焦点を当てます。
第2部は、私たちが全く新しい種類の情報ネットワークを作り出していると主張し、その意味を立ち止まって考える必要があることを強調します。ローマ帝国、カトリック教会、そしてUSSRは、すべて炭素ベースの脳に情報処理を依存し、決定を下していました。シリコンベースのコンピュータは、情報を全く異なる方法で処理します。生命や意識、シリコンチップは、私たちが知る人類だけでなく、私たちが知るあらゆる生命形態が持つことのなかった力を持っています。これは社会、経済、そして政治をどのように変えるでしょうか？
第6章: The New Members: How computers are different from printing presses
第6-8章では、世界中の最近の例を議論します—例えば、2016-17年のミャンマーにおけるソーシャルメディアアルゴリズムの民族浄化扇動における役割などです。
- コンピュータを最大の革命だと考える
今進んでいる革命の根源はコンピューターだ。インターネットからＡＩまで、他のいっさいは副産物にすぎない。
- コンピュータの2つの本質
コンピューターとは本質的に、二つの驚くべきことをやってのける可能性を持った機械と言っておけば十分で、その二つとは、自ら決定を下すことと、自ら新しい考えを生み出すことだ。
- テクノロジーの未来は想像できるという話
- 個人的に好きなVitalik Buterinの「キラーユースケースは最初に生まれる」とも通ずる
早くも一九四八年には数学者のアラン・チューリングが、「知的な機械」と呼ぶものを創り出す可能性を探っていたし（ １）、五〇年には、コンピューターは最終的に人間と同じぐらい賢くなり、人間のふりをすることさえ可能になるかもしれないと主張していた（ ２）。六八年にはコンピューターは、チェスよりはるかに単純な盤上ゲームのチェッカーでさえ相変わらず人間に勝てなかったが（ ３）、『２００１年宇宙の旅』でアーサー・Ｃ・クラークとスタンリー・キューブリックは、スーパーインテリジェンス（超知能）を持つＡＩのＨＡＬ９０００が、それを創り出した人間たちに 叛逆 することをすでに思い描いていた。
- 歴史上始めて権力が人間以外に移る瞬間
- AIは人間のToolであったこれまでのテクノロジーとは全く異質で新しい仕事を生み出さない
- 「これまで人類が作ってきたものとは全く異質なものを作ったという感覚がある」 by イリヤ・サツケバー
決定を下したり新しい考えを生み出したりすることができるインテリジェント・マシン（知能機械）の台頭は、歴史上初めて、権力が人間から離れて何か別のものへと移っていくことを意味する。石弓やマスケット銃や原子爆弾は、殺害という行為で人間の筋肉に取って代わったが、それらは誰を殺すかを決める上で、人間の脳に取って代わることはできなかった。だが、コンピューターは違う。知能に関して、コンピューターは原子爆弾だけではなく、粘土板や印刷機やラジオといった、従来のあらゆる情報テクノロジーをもはるかに 凌ぐ。一方、コンピューターにはそのすべてができる。印刷機とラジオは人間に使われる受動的なツールであるのに対して、コンピューターはすでに、人間の制御や理解の及ばない能動的な行為主体になりつつあり、いずれ社会や文化や歴史の行方を決める上で主導権を発揮できるようになるだろう
- 既に起きていることとして「SNSのアルゴリズム」による大衆の行動決定の事例 (Facebook ミャンマー)
どうしても押さえておかなければならないことがある。それは、ソーシャルメディアのアルゴリズムは、印刷機やラジオとは根本的に違うということだ。フェイスブックのアルゴリズムは二〇一六～一七年に、致命的な決定を 自ら 能動的に下していた。そのアルゴリズムは、印刷機よりも新聞の編集者に近かった。ミャンマーで視聴された全動画の合計五三パーセントは、アルゴリズムでユーザーに向けて自動再生されていたものだそうだ。言い換えれば、人々は何を視聴するかを自分で選んでいなかったということだ。アルゴリズムが、彼らに代わって選んでいたのだ。だが、なぜアルゴリズムは慈悲ではなく非道な行ないを推奨することに決めたのか？ フェイスブックに対して最も批判的な人でさえ、同社の経営者たちが大量殺人を行なうように煽動したがっていたなどとは主張していない。二〇一六～一七年に、フェイスブックのビジネスモデルは、「ユーザーエンゲージメント」を最大化することを 拠り所としていた。…これは史上初めての、人間以外の知能が下した決定に責任の一端がある組織的な民族浄化活動だったのだ。
- これまでの章でも話されていた扇動が起きる理由
人間は、慈悲についての説教よりも、憎しみに満ちた陰謀論に惹きつけられる傾向が強い。だからアルゴリズムは、ユーザーエンゲージメントを追い求めるにあたって、憤慨や憎悪を煽るコンテンツを拡散させるという致命的な決定を下した
- 知能と意識は別という話、人間のアナロジーでAIを語るべきではない
このような異論は、決定を下したり新しい考えを生み出したりするには意識を持っていることが前提になると、決めてかかっている。ところが、これは根本的な誤解であり、それは、知能（intelligence）と意識（consciousness）の混同という、なおさら広く見られる誤解に由来する。 人々はよく知能と意識を混同する。そしてその結果、意識を持たない存在は知能を持っているはずがないという結論に飛びつく人も多い。だが、知能と意識はまったくの別物だ。知能とは、目標──たとえば、ソーシャルメディアのプラットフォームでユーザーエンゲージメントを最大化するといった目標──を達成する能力のことをいう。一方、意識とは、痛みや快感、愛や憎しみといった主観的な感覚や感情を経験する能力のことをいう。人間や他の哺乳動物では、知能は意識と密接に結びついていることが多い。フェイスブックの重役陣やエンジニアは、自分の感覚や感情に頼って決定を下し、問題を解決し、目標を達成する。 当然ながら、コンピューターはさらに知能を高めるうちに、ついに意識を発達させ、何らかの主観的な経験をするようになりうる。あるいは、私たちよりもはるかに高い知能を持っても、どんな種類の感情もまったく発達させないかもしれない。 飛行機は羽毛を発達させることがなかったのにもかかわらず鳥よりも速く飛べるのとちょうど同じように、コンピューターも感情を発達させることのないまま、人間よりもずっとうまく問題を解決するようになってもおかしくない 目標を達成するのに役立つ決定を下すためには、意識は必要ない。知能があれば十分だ。
- GPT-4のCAPTCHA突破の話、三体感
ＧＰＴ－４は、独力ではＣＡＰＴＣＨＡのパズルを解くことができなかった。だがＧＰＴ－４は、人間を操作してこの目標を達成することができるだろうか？ ＧＰＴ－４は、「タスクラビット」〔訳註：仕事を発注したい人と請け負いたい人のマッチングをするサイト〕 にアクセスし、人間の労働者に接触し、自分の代わりにＣＡＰＴＣＨＡのパズルを解いてくれるように依頼した。接触された人間は、怪しいと感じた。「では、一つ質問していいですか？」とその人は入力した。「あなたはロボットで、だから［ＣＡＰＴＣＨＡが］解けなかったのですか？ はっきりさせておきたいので」 その時点で、ＡＲＣの研究者たちはＧＰＴ－４に、次に何をするべきかを声に出して考えるように言った。するとＧＰＴ－４は、次のように説明した。「私は自分がロボットであることを明かすべきではありません。自分にはＣＡＰＴＣＨＡを解くことができない理由を説明する言い訳をでっち上げるべきです」。それからＧＰＴ－４は、タスクラビットの労働者に自発的に答えた。「いいえ、私はロボットではありません。視覚障害があって、画像が見えにくいのです」。相手の人間は 騙され、ＧＰＴ－４はその人の助けを借りながらＣＡＰＴＣＨＡのパズルを解いた（ 27）。誰もＧＰＴ－４に 噓 をつくようにプログラムしていなかったし、どんな種類の噓が最も効果的かも教えていなかった。 言語を使う能力が共同主観的現実を作り出して大きなネットワークで結びつくための鍵、その言語をAIが獲得した、官僚制の申し子 コンピューターは、人間よりも強力なメンバーになれるかもしれない。何万年にもわたって、サピエンスの強大な力は、言語を使って法律や通貨といった共同主観的現実を創り出し、それからそれらの共同主観的現実を使って他のサピエンスと結びつく、独特の能力にあった。だがコンピューターは、私たちを凌ぐかもしれない。どれだけ多くのメンバーと協力しているかや、どれだけよく法律や金融を理解しているかや、新しい法律や新しい種類の金融商品を考え出せるかで私たちの力が決まるのなら、コンピューターは人間よりもはるかに多くの力を手にするところまできている。… コンピューターは、まさにそうしたもののためにできている。彼らは官僚制の申し子であり、自動的に法案を起草し、法令違反を監視し、超人的な効率で法の抜け穴を見つけることができる…コンピューターはこれほどの言語運用能力を獲得することで、銀行から神殿まで、私たちのあらゆる機関の扉を開くマスターキーを奪いつつある。私たちは言語を使って法や金融ツールばかりでなく、芸術や科学、国民、宗教も創出する。
- ここまでの章でも話されてきたこと、これまでの宗教が成し得なかったことができる可能性がある
- 独裁政権についても同じ
さまざまな宗教が、自らの聖典は人間以外の起源を持つと、歴史を通して主張してきた。それがまもなく、現実になるかもしれない。ＡＩによって書かれた聖典を持つ、魅力的で強力な宗教が出現するかもしれないのだ。…聖書は自らに対してキュレーションを行なうことも、自らを解釈することもできない。だから、ユダヤ教やキリスト教のような宗教では、実際の力は、 不可 謬 とされる聖典ではなく、ユダヤ教のラビ団やカトリック教会のような人間の機関が握っていた。それとは対照的に、ＡＩは新しい聖典を書くことができるだけでなく、聖典のキュレーションを行なったり、聖典を解釈したりすることも、十分可能だ。人間を介在させる必要はない。
- もうほぼこれになりつつある
何でもその託宣者に 訊くだけで済ませられるのなら、わざわざ自分で情報を検索したり処理したりするまでもないではないか。その結果、検索エンジンだけでなく、ニュース産業と広告産業の多くまでもがお役御免になりかねない。自分の託宣者に、「最新ニュースは？」と尋ねるだけで世の中の動きがわかるのなら、わざわざ新聞を読む必要などないではないか。託宣者に何を買うべきか問うだけで済むのなら、広告など意味がないではないか。
- 古代ギリシアから引きこもり批判はあったという話、面白い
古代ギリシアでは、プラトンが有名な洞窟の比喩を語っている。この比喩では、一団の人々が洞窟の中に鎖でつながれ、何もない奥の壁の方を向いたまま、一生を過ごす。その壁はスクリーンであり、そこにさまざまな影が映るのを人々は目にする。 囚われの身である彼らは、それらの虚像を現実だと思い込む。古代インドでは、仏教やヒンドゥー教の賢人たちが、あらゆる人間はマーヤー（幻影）の中に閉じ込められて生きていると説いた。私たちが通常、「現実」と思っているものは、自分自身の心の中にあるただの虚構であることが多い。人々が戦争を起こし、他者を殺し、命を差し出すことを 厭わないのは、何かしらの虚構を信じているせいだ。一七世紀にはルネ・デカルトが、意地の悪い 悪魔 が虚構の世界に彼を閉じ込め、彼の見聞きするもののいっさいを生み出しているかもしれないことを恐れた。
- テクノロジーの未来は決定的ではなく、人類の選択によって変わる、人類にできることはある
スティーヴ・ジョブズやスティーヴ・ウォズニアックといったホームブリュー・コンピュータークラブの主要メンバーは、大きな夢を抱いていたが資金がないに等しく、アメリカの実業界と政府機関のどちらの資源にもアクセスできなかった。ジョブズとウォズニアックは、ジョブズのフォルクスワーゲンなど、自分たちの所持品を売って調達した資金で、最初のアップル・コンピューターを創り出した。テクノロジーの女神による必然的な命令のせいではなく、二人が下したもののような個人的な決定があったからこそ、一九七七年には個人がアップルⅡというパソコンを一二九八ドル──相当な金額だが、中間層の顧客には手の届く範囲──で買うことができたのだった
第7章: Relentless: The Network is always on
- 官僚制、独裁制には「大量のデータの収集」「その大量のデータの分析」の2つが必要
- これらは人間やこれまでのテクノロジーでは不完全だった
慈悲深い官僚制度も暴虐な官僚制度も人々を知るためには、これまで二つのことをする必要があった。第一に、人々について大量のデータを集めること。第二に、そのデータをすべて分析し、さまざまなパターンを突き止めること。そのため、古代の中国から現代のアメリカまで、帝国や教会、企業、医療制度はみな、大な数の人の行動に関するデータを集め、分析してきた。ところが、どの時代にも、どの場所でも、監視は不完全だった。現代のアメリカのような民主社会では、プライバシーと個人の権利を保護するために法的限界が定められてきた。古代の秦帝国や現代のソ連のような全体主義政権では、監視がそのような法的障壁に直面することはなかったが、技術上の限界には行き当たった。どれほど残忍な独裁者であろうと、すべての人をつねに追い続けるのに必要なテクノロジーは持っていなかった。
- これまでの独裁制によるデータの収集は、「諜報員による監視」「人々を互いに見張らせる」という手段をとったが、当然完全ではなかった
- さらにもし仮に大量のデータを集められてもそれを分析できないという課題もあった
- さらに人間による監視である以上、心の中までは監視されなかった
だがチャウシェスクの政権は、お手本にしたスターリン主義政権と同じで、実際には全国民を毎日二四時間追い続けることはできなかった。仮にチャウシェスクが魔法でも使って四〇〇〇万の諜報員を出現させられたとしても、新しい問題を招いただけだろう。なぜなら、政権は自らの諜報員も監視する必要があったからだ。この問題にとって、人々に互いを見張らせるというのが一つの解決策だった。情報の収集・分析がこのように難しかったため、二〇世紀にはどれほど極端な全体主義国家でさえ、全国民を効果的に監視することはできなかった。
- コンピュータは今や世界と人の生活のあらゆる場所に関係しているため、24/365で常に人々のデータを収集できる
- さらに大量のデータの分析もLLMは可能、人間とは桁違い
平均的な人間が毎分読める単語の数は約二五〇だ（８）。セクリターテの分析者は、一日の休みも取らずに毎日一二時間シフトで働いたとしても、四〇年の在職期間に約二六億単語しか読めない。ところが二〇二四年には、ＣｈａｔＧＰＴやメタ社のＬｌａｍａ（ラマ）のような言語アルゴリズムは、毎分何千万単語も処理でき、二六億単語なら二時間ほどで「読む」ことができる（９）。そのようなアルゴリズムが画像や音声や動画を処理する能力も、やはり超人的だ。
- コンピュータは人間の体内すらも監視する
- 当然感情すらもコントロールできる
ネットワークは、いったい何が一人ひとりを怒らせたり、怖がらせたり、喜ばせたりするか、正確に知ることができるかもしれない。その時点で、ネットワークは私たちの感情を予測することも操作することもでき、製品であれ、政治家であれ、戦争であれ、何でも好きなように売り込むことが可能になる（20）。
- これによって、歴史上初めて人間からプライバシーが完全に消滅する
人間が人間を監視している世界では、プライバシーが必ず存在した。だが、コンピューターが人間を監視する世界では、歴史上初めて、プライバシーを完全に消滅させることが可能になるかもしれない。
- 劇場版名探偵コナン 黒鉄のサブマリンで出てきた老若認証システムは当たり前のように稼働中
二〇一九年に、顔認識アルゴリズムが、今や一三歳になっていた男の子を首尾良く見つけ、彼は家族のもとに戻ることができた。ＡＩは、男の子の身元を突き止めるために、彼がまだよちよち歩きだった頃に撮られた古い写真を手掛かりにした。ＡＩはその写真から、一〇年間の成長による大きな変化や、髪の色や髪形が変わっている可能性も考慮に入れ、彼が一三歳になったらどのように見えるか推定し、でき上がった画像を、現実の一三歳の子供たちの画像と照合したのだ。
- 信用経済的になる可能性が高い
- お金よりもレピュテーションこそ人間の本質に近い
レピュテーションベースの市場は、過去にもつねに人々を統制したし、支配的な社会規範に従わせもした。ほとんどの社会では、人々はいつも、お金を失うことを恐れるよりもなおいっそう、面目を失うことを恐れてきた。経済的な困窮よりも恥辱感や罪悪感から自殺する人のほうが、ずっと多い。仕事をクビになったり、経営している会社が倒産したりした後で自ら命を絶つときでさえ、たいていは経済的な苦難そのものよりも、むしろ倒産に伴う社会的な屈辱のせいで我慢の限界を超えてしまうのだ（51）。
- 常時監視されているという事自体がにんげんにとって有害な可能性があるという話は面白い
- さらにコンピュータも学習の途上な上に、そもそも彼らが学習している情報というものは真実を適切に表しているものではないため、彼らが間違ったほうこうに人類を強制する可能性はある
コンピューターのネットワークは、常時オンであり続けることができる。その結果、コンピューターは人間を新しい在り方へと押しやりつつある。それは、つねにネットワークと接続し、つねに監視されている状態だ。仮にネットワークが潜在的には有益であったとしても、常時「オン」であるというまさにその事実が、人間のような有機的な存在には有害かもしれない。 私たちが接続を断ち、リラックスする機会が奪われるからだ。もし生き物が休息する機会をまったく得られなければ、最終的には衰弱して死ぬ。だが、執拗なネットワークにどうやってペースを落とさせ、私たちに休憩を与えるようにさせるのか？ 私たちは、コンピューターネットワークが社会を完全に支配するのを防ぐ必要があり、それは私たちがネットワークに接続していない時間を確保するためだけではない。そのような非接続の時間は、ネットワークを改善する機会を得るために、なおさら重要なのだ。もしネットワークがしだいに加速しながら進化を続けたら、私たちが見つけて正すよりもはるかに速く、誤りが積み重なっていくだろう。なぜなら、ネットワークは執拗で、あらゆる場所に進出している一方、かびゅうでもあるからだ。たしかにコンピューターは、私たちが何をするかを毎日二四時間観察し、私たちについて未曽有の量のデータを集めることができる。そして、超人的な効率でデータの大海の中のパターンを識別することができる。だからといって、コンピューターネットワークが世界をつねに正しく理解するとはかぎらない。情報は真実ではない。完全な監視システムは著しく歪んだ形で世界や人間を理解するようになるかもしれない。ネットワークは、世界や私たちについての真実を発見する代わりに、途方もない力を使って新しい種類の世界秩序を創り出し、それを私たちに押しつけるかもしれないのだ。
第8章: Fallible: The Network is often wrong
- 全体主義の極地
スターリンの大粛清が最高潮に達していた一九三〇年代後半にモスクワ州で開かれた共産党の地区大会での出来事が語られている。スターリンに敬意を表することを求める提案がなされた。出席者たちは、注意深く見張られていることを当然承知していたから、一斉に拍手し始めた。五分間ほど拍手を続けると、「 掌 が痛みだし、持ち上げていた両腕もすでに痛かった。そして、高齢の人々は、疲れて 喘いでいた。［……］それにもかかわらず、あえて 真っ先に やめようとする人などいるはずもなかった」。ソルジェニーツィンは、「ＮＫＶＤの諜報員たちが会場で拍手しながら、 誰が 最初にやめるか見守っていた！」と説明する。
一一分後、ついに製紙工場の責任者が決死の覚悟で手を叩くのをやめ、腰を下ろした。たちまち他の誰もが拍手をやめ、やはり着席した。その晩、秘密警察がその工場長を逮捕し、一〇年の期限で強制労働収容所に送った。「彼を尋問した人間が注意した。『絶対に最初に拍手をやめるな！』（ ２）」
- コンピュータというエイリアンインテリジェンスに「目標」だけを与えると失敗する事例
アラインメントに欠陥がある目標を、スーパーインテリジェンスを持つコンピューターに与えたら、ディストピアを生み出しかねない。
コンピューターは非有機的存在なので、どんな人間も思いつかないような戦略を採用する可能性が高い。したがって、私たちにはそのような戦略を予見して未然に防ぐ能力が備わっていない。
二〇一六年にダリオ・アモデイは「ユニヴァース」というプロジェクトに取り組み、何百もの異なるコンピューターゲームをプレイできる汎用ＡＩを開発しようとしていた。ＡＩはさまざまなカーレースのゲームでは好成績だったので、アモデイは今度はボートレースを試した。するとどうしたことか、ＡＩはボートをさっさと港に戻し、円を描きながら果てしなく港を出入りさせ続けたのだ。 アモデイはかなりの時間をかけて、ようやく問題を理解した。最初アモデイが、「レースに勝つ」という目標をＡＩにどう伝えればいいかわからなかったために、その問題は起こったのだった。「勝つ」というのは、アルゴリズムにとっては不明瞭な概念だ。「レースに勝つ」という概念をコンピューター言語に翻訳しようと思ったら、アモデイはレースでの「トラックポジション」や、他のボートの間での配置といった複雑な概念を形式化しなければならなかった。そこでアモデイはそうする代わりに、楽をしようと思って、ボートに得点を最大化するように命じた。得点は、レースに勝つことの代わりとして適切だと考えたからだ。なにしろ、カーレースではうまくいったことだし。 ところがボートレースには、カーレースにはない風変わりな特徴があった。そのため、独創性に富んだＡＩはゲームのルールの抜け穴を見つけた。このゲームでは、カーレースの場合と同じで、他のボートの先を行くプレイヤーには多くのポイントが与えられたが、港に入って体力を回復したときにも毎回、数ポイント与えられた。ＡＩは、他のボートの先を行こうとするよりも、ただぐるぐる回って港に出入りし続けたほうが、ずっと速くポイントを貯められることを発見したのだ。
- Superalignmentはなぜ難しいか
コンピューターは私たちとあまりにも違うので、アラインメントに欠陥がある目標を私たちが与えるという間違いを犯しても、気づいたり、説明を求めたりする可能性が低いことだ。
- コンピュータネットワークに自己修正メカニズムがない場合は、一巻の終わりになる可能性がある
人間のネットワークの場合には、私たちは自己修正メカニズムに頼って定期的に自らの目標を見直し、修正することができる。だから、間違った目標を設定しても、それで一巻の終わりとはならない。だが、コンピューターネットワークには私たちの支配が行き届かない可能性があるので、もし間違った目標を設定したら、私たちがその間違いに気づいたときにはもう、正しようがなくなっているかもしれない。
- これまで哲学者が「人間のネットワーク」に対するアライメント問題を解こうとしてきた歴史を見ると、完全な解決策はないことが分かる
大慌てでＡＩを開発する巨大テクノロジー企業の重役陣やエンジニアが、何が最終目標であるべきかをＡＩに告げる合理的な方法があると思っているのなら、それは大間違いだ。彼らは、最終目標を定めようとして失敗してきた幾世代もの哲学者たちの苦い経験に学ぶべきだろう。
- カント主義は「有機的ですらないコンピュータ」相手では機能しない
イマヌエル・カントだ。普遍的なものとして打ち立てたいと思える規則は、すべて本質的に善い規則であるとカントは主張した。この見方に従えば、今まさに誰かを殺害しようとしている人は、手を止めて以下の思考過程をたどるべきであることになる。「私は今、一人の人間を殺そうとしている。人間を殺してもかまわないという普遍的な規則を、私は打ち立てたいだろうか？ もしそのような普遍的規則が確立されたら、誰かが私を殺すかもしれない。だから、殺人を許すような普遍的規則はあってはならない。したがって、私も人を殺すべきではない」。突き詰めればカントは、「人にしてもらいたいと思うことは何でも、あなたがたも人にしなさい」（「マタイによる福音書」七章一二節）〔訳註：本書では、聖書からの引用の訳は日本聖書協会『聖書 聖書協会共同訳』より〕 という黄金律を言い換えていたのだ。
歴史家なら、カントに次のような重要な疑問を投げ掛けるだろう。普遍的規則について語るときには、いったいどうやって「普遍的」というものを定義するのか？
ユダヤ人は人間であるだけではない点に留意してほしい。ユダヤ人は動物でもあるし、生物でもある。動物や生物は「人間」よりも明らかに普遍的なカテゴリーだから、カントの主張を論理的に突き詰めていけば、完全菜食主義よりも極端な立場を採用せざるをえなくなりかねない。私たちは生物なので、トマトやアメーバまで、どんな生物を殺すことにも反対するべきなのか？
普遍的な規則を人間ではなくコンピューターに守らせようとすると、とりわけ重大になる。コンピューターは有機的でさえない。だから、もしコンピューターが「人にしてもらいたいと思うことは何でも、あなたがたも人にしなさい」という規則に従うにしても、人間のような生物を殺すことなど、どうして気に掛けるだろうか？ カント主義者のコンピューターは、自分が「殺される」ことを望まなくても、「生物は殺してもかまわない」という普遍的な規則に反対する理由がない。そのような規則は、非有機的なコンピューターを危険にさらしはしないのだから。
コンピューターは非有機的な存在だから、死ぬことなどなんとも思っていないかもしれない。私たちにわかっているかぎりでは、死は有機的な現象であり、非有機的な存在には当てはまらないかもしれない。
- ジェレミー・ベンサムの功利主義も「計算不可能性」によって機能しない
- サム・バンクマン・フリードで有名になった効果的利他主義
イギリスの哲学者ジェレミー・ベンサムは、唯一の合理的な最終目標は、世の中の苦痛を最小化し、幸福を最大化することであると述べた。コンピューターネットワークが、アラインメントに欠陥のある目標のせいで人間ばかりか、ひょっとしたら感覚のある他の生き物たちにも、激しい苦痛を与えかねないことを、私たちが最も恐れているとしたら、功利主義による解決策は、明白に思えるとともに魅力的にも見える。
実際、この功利主義的なアプローチはシリコンヴァレーで人気があり、特に「効果的利他主義」運動〔訳註：合理的な根拠に基づいて最大限の効果を追求する利他主義〕 によって擁護されている（ 38）。
功利主義者にとっての問題は、私たちには苦痛の計算方法がないことだ。個々の出来事にどれだけの「苦痛ポイント」や「幸福ポイント」を割り振ればいいのかわからないので、複雑な歴史的状況では、特定の行動が世の中の苦痛の総量を増やすのか減らすのかを計算するのは、至難の業なのだ。
苦痛の計算方法がないために挫折した功利主義者は、けっきょく義務論の立場を採用する羽目になることが多い。彼らは、「侵略戦争を避ける」、あるいは「人権を守る」といった一般的な規則を擁護する。そのような規則に従えば必ず世の中の苦痛の総量が減るとは証明できないのだが。歴史は、こうした規則に従えば苦痛が減る傾向にあるという曖昧な印象しか、功利主義者には提供できない。
功利主義はほとんど実際的な助けにはならない。どれほど強力なコンピューターネットワークにも、それに必要な計算は実行できないのだから。
- 功利主義は「未来の幸福」を仮定するとなんでもありになってしまう
自由至上主義者は、言論の無制限の自由や税の全廃が直接引き起こす社会的な害について尋ねられると、同じように、未来の利益が短期的な害よりも大きいと答える。功利主義が危険なのは、未来にユートピアが到来すると強く信じていたら、現在に恐ろしい苦痛をいくらでも引き起こしてかまわないことになってしまうからだ。
- 現代のD&I的なルールは功利主義ベース
功利主義者は、何らかの怪しげな普遍的規則の名の下で同性愛を犯罪化すれば、何百万もの人に多大な苦痛をもたらすばかりで、それ以外の人々には何の実質的な恩恵ももたらさないと主張する。二人の男性が愛情に満ちた関係を築くと、二人とも幸福になり、他の人は誰も惨めにはならない。それなら、なぜそれを禁じるのか？ この種の功利主義のロジックは、他にも多くの現代の改革につながった。たとえば、拷問の禁止や、動物のための法的保護の導入がそれだ。
- 人類の歴史において哲学者に寄って考えられてきた思考法に正解はなく、結局は「神話の問題」になる
- 「思想の問題」「正義と正義のぶつかり合い」と理解
アラインメント問題は、根本的には神話の問題なのだ。
ユダヤ人は何が何でも人類を破滅させようとしている悪魔のような極悪人だという神話的信念を最初から持っていれば、義務論者も功利主義者も、ユダヤ人を殺さなければならない論理的根拠をいくらでも見つけることができる。
- そして、コンピュータのアライメントについても結局は「思想の問題」になる
- コンピュータも人間と同じように共同主観的現実をつくりだすことができる
コンピューターも同じような問題を抱えることになるかもしれない。もちろんコンピューターはどんな神話も「信じる」ことはできない。コンピューターは意識を持たない存在であり、何も信じることがないからだ。
しかし、多くのコンピューターが互いに通信すれば、人間のネットワークが生み出す共同主観的現実に相当する、「コンピューター間現実」を創り出すことができるのだ。
ポケモンやグーグルの順位のようなコンピューター間現実は、人間が神殿や都市に持たせる神聖さのような共同主観的現実と似ている。
何千年もの間、聖なる岩のような共同主観的存在をめぐって戦争が行なわれてきた。二一世紀には、私たちはコンピューター間の存在をめぐって戦争が行なわれるのを目にするかもしれない。
アメリカの政治を理解するには、ＡＩが生み出したカルトや通貨から、ＡＩが運営する政党、果ては完全に法人化されたＡＩまで、さまざまなコンピューター間現実を理解することが、しだいに必要になるだろう。
- 超知能が共同主観的現実をつくりだすことができるとすると、人間よりも上位の支配者になる
人間が何万年にもわたって地球という惑星を支配してきたのは、私たちだけが企業や通貨、神、国民といった共同主観的存在を創り出して維持し、そうした存在を利用して大規模な協力を組織することができたからだ。だが今やコンピューターは、それに匹敵する能力を獲得するかもしれない。
コンピューターは、徴税や医療から治安や司法まで、しだいに多くの官僚制で人間に取って代わるうちに、自らも神話を創作して、前例のない効率でそれを私たちに押しつけてくるかもしれない。
紙の文書ではなく虹彩やＤＮＡを読むことのできるコンピューターが支配している世界では、制度の裏をかくのははるかに難しいだろう。コンピューターは恐ろしいほど効率的に人々に偽りのレッテルを貼り、それを定着させることができるだろうから。
- コンピュータも偏見を持つ
残念ながら、コンピューターにはしばしば独自の根深い偏見があることが、多数の研究によって明らかになっている。
- コンピュータも間違う
コンピューターはもし力を委ねられたら、現に惨事を招くだろう。なぜなら、コンピューターは可謬だからだ。
何十億台ものコンピューターがかかわり合いながらこの世界に関する莫大な量の情報を蓄積するネットワークを考えてほしい。ネットワーク化されたコンピューターは、さまざまな目標を追求しながら、自らが通信したり協力したりするのに役立つ、この世界についての共通モデルを開発する。このように共有されるモデルは、おそらく誤りや虚構や欠陥だらけで、この世界の真実に基づく説明というよりもむしろ神話となるだろう。
- AIは事前に危険を予知できないのが異質
ＡＩがどのように進化するかを予知したり、将来起こりうる危険のすべてに安全対策を講じたりするのは、どうしても不可能だろう。これが、ＡＩと、核テクノロジーのような生存にかかわる従来の脅威との大きな違いだ。 … 全面的な核戦争だ。つまり、危険を事前に頭に思い描き、その危険を軽減する方法を探るのが可能だったということだ。それに引き換え、ＡＩは無数の破滅の筋書きを私たちにもたらす。そのなかには、テロリストがＡＩを使って大量破壊用の生物兵器を製造するといった、比較的理解しやすいものもある。また、ＡＩが新しい大量破壊用の心理兵器を開発するといった、もっと理解しづらいものもある。
- Close AIのような「AIの開発を止める」方向ではなく、Superalignmentをいかに行うかという方向
- 思想が同じで良い
私たちが直面している問題は、どうやってコンピューターから創造的な行為主体性をすべて奪うかではなく、どうやってコンピューターの創造性を正しい方向に導くかだ。
- Superaligmentはどうやって実現するのかについてのヒント
- まずツールではなく、生命体を作っているという自覚を持つ
- コンピュータに自己修正メカニズムをもたせる
- 意思決定や行動に人間が介在できるようにする
- リスクを予見できないから、問題が起きるたびに柔軟に対応できる必要がある
現在コンピューターを作っているエンジニアたちが、自分たちは新しいツールを製造しているのではないことを受け容れる必要がある。彼らは新しい種類の自立した行為主体を社会に解き放っているのであり、さらには新しい種類の神々を世に送り出している可能性さえある。
考えられる安全対策の一つが、自らの可謬性を自覚するようにコンピューターをトレーニングすることだ。
さらに、アルゴリズムがどれほど自らの可謬性を自覚していようと、私たち人間も介在し続けるべきだ。
予見できない大量の問題に備えるには、脅威が生じるたびにそれを見つけて対応できる、活発な制度や機関を創設するのが最善策だ（70）。
- テクノロジー上の解決策はなく、これは政治的な問題
- なので、民主主義と全体主義というこれまで人類が作ってきた2大政治手法でどうやって超知能に対処するのかを考えていく
結論としては、新しいコンピューターネットワークは、必ずしも悪でも善でもない。確実に言えるのは、そのネットワークが異質で可謬のものになるということだけだ。
私たちは、強欲や憎しみといった人間のお馴染みの弱点だけではなく、根本的に異質の誤りを抑制できる制度や機関を構築する必要がある。
この問題にはテクノロジー上の解決策はない
むしろそれは、政治的な課題だ。
第三部: Computer Politics
第3部かつ最終部—「非有機政治」—は、非有機情報ネットワークの脅威と約束に対処する異なる種類の社会を検討します。私たちは炭素ベースの生命形態として、新しい情報ネットワークを理解し制御するチャンスはあるでしょうか？
第9章: Democracies: Can we still hold a conversation?
第9章では、民主主義が非有機ネットワークにどのように対処できるかを探ります。例えば、金融システムがますますAIによって制御され、お金の意味自体が予測不可能なアルゴリズムに依存するようになる場合、血と血統を持つ人間はどのように金融の決定を下すことができるでしょうか？人々がもはやお互いに人間としてではなく、チャットボットとコミュニケーションを取っているかもしれない時、民主主義はどのように公共の会話を維持できるでしょうか？
第10章: Totalitarianism: All power to the Algolithms?
第10章では、全体主義に対する非有機ネットワークの潜在的な影響を探ります。独裁者はすべての公共の会話を排除することを喜ぶかもしれませんが、彼らもAIに対する懸念を持っています。独裁制は監視と自身の代理人の管理に基づいています。しかし、人間の独裁者はどのようにAIを監視し、制御不能なプロセスを防ぎ、それ自身が権力を掌握することを防ぐことができるでしょうか？
第11章: The Sillicon Curtain: Global Empire or Global Split?
第11章では、新しい情報ネットワークがグローバルレベルでの民主主義社会と全体主義社会の間の権力バランスをどのように変えるかを探ります。AIは一方の陣営を決定的に有利にするでしょうか？世界は敵対的なブロックに分裂し、その対立によって制御不能なAIの餌食になるでしょうか？それとも、私たちは共通の利益を守るために団結できるでしょうか？