《人には人の役割がある》：制御論の先駆者ノーバート・ウィーナーが語る通信、制御、そして私たちの機械の倫理

「私たちは永遠に不変ではなく、自身のパターンを継続しています。パターンとは情報です。」

「情報は決して啓発に取って代わることはありません」と、スーザン・ソンタグは「言葉の良心」を考える中で断言しました。「言葉は出来事であり、物事を行い、変えるものです」と、アーシュラ・K・ル・グィンは同時期に真の人間のコミュニケーションの魔力について詳細に考察しました。「それら（言語）は話者と聞き手を変え、エネルギーを繰り返しフィードバックし、それを増幅します。それらは理解や感情を行き来させ、それを増幅します。」しかし、言語が人間性を剥奪され、無情な機械に入力され、もはや啓発されない情報通貨として使用されるとき、何が起こるのでしょうか？

アルゴリズムの黄金時代の半世紀前、インターネットが誕生する 20 年前、数学者で哲学者のノーバート・ウィーナー（1894 年 11 月 26 日 - 1964 年 3 月 18 日）は、1950 年に出版した洞察に満ちた先見の明のある著作『人間の人間の利用：サイバネティクスと社会』（The Human Use of Human Beings: Cybernetics and Society）で、私たちをこの仮定の影響から守ろうとしました。ウィーナーはこの本が「個人間および個人内部のコミュニケーションの限界」に焦点を当てていると述べ、この本は世代を超えて思想家、創造者、起業家に影響を与えました。多くの人々に愛される作家カート・ヴォネガット、文化人類学者メアリー・キャサリン・ベイツン、バーチャルリアリティの先駆者ジャロン・ラニエは、彼の影響を受けました。

ウィーナーは 2 年前に「サイバネティクス」という言葉を創造し、因果関係の連鎖を考える新しい方法を開拓し、システム内部のフィードバックループがシステム自体をどのように変えるかを探求しました。（今日のソーシャルメディアエコシステムは、浅薄ですが非常に示唆に富んだ例です。）

ハンナ・アーレントの暴君が隔離を抑圧と操作の武器として使用するという同時代の洞察を補完する形で、ウィーナーはこの情報システムモデルの下で、コミュニケーションと制御が不可避的に結びついている理由を説明しました：

情報という名前の内容は、私たちが外界を調整し、私たちの調整を外界に理解させるときに外界と交換するものです。情報を受け取り、情報を使用するプロセスは、私たちが外界環境のさまざまな偶然性を調整し、その環境で効果的に生活するプロセスです。現代生活のさまざまなニーズとその複雑性は、情報プロセスに対して前例のない高い要求を突きつけています。私たちの出版社、博物館、科学実験室、大学、図書館、教科書は、このプロセスのさまざまなニーズを満たさざるを得ず、そうでなければ存在の目的を失うことになります。効果的に生活するとは、生活するために十分な情報を持つことです。したがって、コミュニケーションと制御が個人の内的生活の本質であることは、個人の社会生活の本質と同じです。

ウィーナーの見解の一つの柱は、熱力学第二法則とその核心的前提であるエントロピー — 無秩序、混乱、予測不可能性の増加傾向 — が、任意の閉じたシステム内で時間とともに増加するということです。しかし、私たちが宇宙自体を閉じたシステムと考えたとしても — この仮定は、私たちの宇宙が多くの宇宙の一つである可能性を無視しています — 個人と彼らが形成する社会は閉じたシステムとは見なせません。むしろ、それらは広大な宇宙の混沌の中で秩序を確立し、エントロピーを減少させようとする小さなポケットです — これらの試みは、私たちが情報を組織し、交流するシステムにコード化されています。ウィーナーは、有機体と機械のこの点での類似性を探求しました — 彼の時代にはこれは急進的な概念でしたが、私たちの時代にはこの概念はまだ理解されていないものの、明らかです：

もし私たちが「生命」という言葉を使って、エントロピーの増加の流れに局所的に反する現象を総括したいのであれば、私たちは自由にそうすることができます。しかし、そうした場合、私たちは天文学的に知られているものと生命が極めてわずかに似ている多くの現象を含めてしまうことになります。したがって、私の意見では、「生命」、「魂」、「生命力」などの自己証明がまだなされていないコードを使用することは避けるべきであり、機械について話すときには、単に次のことを指摘すればよいのです：全体のエントロピーが増加する範囲内で、エントロピーを減少させる局所的な領域において、私たちは機械が人間に似ていると言う理由がないのです。
私がこの機械と生命体を比較する際、私の意図は、私たちが通常理解している生命に関する特定の物理的、化学的、精神的プロセスと、生命模倣機（life-imitating machine）内のそれらのプロセスが同等であると言うことではありません。私は単に、両者が局所的な反エントロピー過程の例として機能することができると言っているのです。反エントロピー過程は、もちろん、他の多くの方法でも例を見つけることができるかもしれませんが、これらの方法は生物学的とも力学的とも呼ばれるべきではありません。

ウィーナーは驚くべき先見の明を持って次のように補足しました：

私たちは、メッセージの研究と社会通信装置の研究を通じて社会を理解することができます。これらのメッセージと通信装置の未来の発展において、人と機械の間、機械と人の間、機械と機械の間のメッセージは、社会の中でますます重要な地位を占めることになるでしょう。
[...]
制御と通信において、私たちは必ず組織的な低下と意味の損失という自然な傾向と闘わなければなりません。すなわち、エントロピーの増加傾向と闘わなければなりません。

ニール・ゲイマンの概念によれば、物語は「私たちと共に生きる真の共生的有機体であり、人類を前進させることを許可します」とウィーナーは、生物有機体がどのように類似し、情報システムの助けを得ているかを考察しました：

有機体は混乱、崩壊、死の対極であり、メッセージはノイズの対極です。有機体を説明する際、私たちはその中のすべての分子を詳細に説明し、それらを一つ一つ目録にすることを試みるのではなく、その有機体のパターンを明らかにするいくつかの質問に答えようとしています。たとえば、その有機体がより完全な有機体に変わるとき、パターンはより大きな意味を持ち、変化が少ないものです。
[...]
私たちは固定不変の素材ではなく、永遠に存在するパターンです。パターンとはメッセージです。

彼は次のように補足しました：

メッセージ自体はパターンと組織の一形態です。確かに、私たちはメッセージの集合をエントロピーを含むものと見なすことができます。私たちが外部世界の状態の集合を扱うのと同様に。エントロピーが組織の崩壊の尺度であるように、メッセージの集合が持つメッセージは、その集合の組織性の尺度です。実際、メッセージが持つ情報は本質的にそのメッセージの負のエントロピーとして解釈することができ、そのメッセージの確率の負の対数として解釈することができます。つまり、より可能性のあるメッセージは、提供される情報が少なくなるということです。

ウィーナーはエミリー・ディキンソンが喜ぶような例を用いてこの見解を説明しました：

閉じたシステムにおいてエントロピーが自発的に増加する傾向があるため、情報も自発的に減少する傾向があります。エントロピーが無秩序の尺度であるため、情報は秩序の尺度です。情報とエントロピーはどちらも保存されず、商品として適していません。たとえば、陳腐な表現の意味は偉大な詩篇よりも劣ります。
[...]
陳腐な表現が流行するのは偶然ではなく、それは情報の本質に固有の現象です。情報の所有権は必然的に次の不利な条件に直面します：社会の一般的な情報を豊かにするためには、その情報は本質的に社会の元々の公共の貯蔵から異なる何かを語らなければなりません。偉大な文学的古典作品の中では、明らかな価値を持つ情報が大量に捨てられることさえあります。なぜなら、皆がその内容に慣れてしまったからです。学生はシェイクスピアを好まないのは、彼にとってシェイクスピアはただの馴染みのある引用の山に過ぎないからです。人々がこの作家を深く研究し、その時代の浅薄な陳腐な表現から脱却したとき、私たちはこの作家との情報的な関係を再構築し、彼の作品に新たな評価を与えることができるのです。

このことから導かれる推論は、技術とメディア環境がすべてをより明確にし、ウィーナーがこれらのものを目にしたことがないことを示しています。私たちはそれと共に生きなければなりません：

変動する世界の中で、情報を保存しながらその価値を著しく減少させないという考えは、荒唐無稽です。
[...]
情報は、保存することを目的とするよりも、流通することを目的としています。… 情報の重要性は、私たちが外界を観察し、外界に対して効果的に行動する連続的なプロセスの中で、十分に実現される段階です。… 人は生きている限り、外界の影響を受け、外界に対して行動を起こす連続的な流れに参加せざるを得ません。この連続的な流れの中で、私たちは単なる媒介者に過ぎません。言い換えれば、変化し続ける世界に生きることは、知識の連続的な発展に参加し、知識の円滑な交流に参加することを意味します。

ザディ・スミスを思い起こさせる段落の中で、彼は普遍的な進歩の幻想に対する明晰な修正を行い、今日の社会科学者が選択的に統計データの中から心地よい「進歩」のバージョンを提供することに対する対比を提供しました。これらの統計データは、誰が「進歩」の対象であるかを故意に無視しています。ウィーナーは次のように書きました：

私たちは、世界全体が熱力学第二法則に従っている生活を送らざるを得ません：混乱が増加し、秩序が減少しています。しかし、前述のように、熱力学第二法則は閉じたシステム全体に対しては有効な表現ですが、その中の非孤立部分には必ずしも有効ではありません。全体のエントロピーが増加する世界の中で、局所的で一時的な減エントロピー地域が存在します。これらの地域の存在により、進歩の存在を主張することができるのです。
[...]
したがって、私たちが熱力学第二法則に悲観的な解釈を与えるかどうかは、私たちが宇宙全体とその中に見つける局所的な減エントロピー地域の重要性をどのように評価するかによります。私たち自身がそのような減エントロピー地域であることを忘れないでください。そして、私たちは他の減エントロピー地域の中で生きています。その結果、正常な視界は遠近の違いによって生じる差異により、私たちが減エントロピーと秩序の増加地域に与える重要性は、宇宙全体に与える重要性よりもはるかに大きくなります。

ウィーナーは、歴史の時間の矢と普遍的な意味での「進歩」の矢が一致するという見解を持っていますが、この見解の核心的な欠陥は次のように述べられています：

私たちの進歩への崇拝は、二つの観点から探求できます：一つは事実の観点、もう一つは道徳の観点であり、後者は賛成または反対の基準を提供します。事実の面では、人々は次のように主張します：アメリカ大陸の発見の後、私たちは終わりのない発明の時代に入り、環境を制御するための新技術を発見する終わりのない時代に入ったと。進歩の信者たちは、この時代は続き、人類が想像できる未来には終わりが見えないと言います。進歩の概念を道徳的原則と見なす人々は、この制限のないほぼ自発的な変化のプロセスが「良いこと」であり、後の世代に楽園を保証する根拠であると考えます。人々は進歩を道徳的原則として信じることなく、単に事実として信じることができます。しかし、多くのアメリカ人の教義の中では、二者は切り離せません。

このようにして、ウィーナーは進歩の物語の中で最大の空白に目を向け、異なる尺度と種の間に存在する相互関係を認めます。1 世紀前、先駆的な博物学者ジョン・ミューアは彼の主張の中で忘れがたい瞬間を捉えました。「私たちが何かを単独で取り出そうとするとき、私たちはそれが宇宙の他のすべてとつながっていることを発見します。」レイチェル・カーソンが現代の環境意識を目覚めさせる 10 年前、ウィーナーは人類の「進歩」が地球上で支払うより大きな代償について考察しました：

多くの人々は、最近の 400 年が世界史の中で非常に特別な時期であることを認識していません。この時期に起こった変化は、その速度が前例のないものであり、変化の本質も同様です。それは部分的には通信の強化の結果ですが、人々が自然界に対して強化された支配の結果でもあります。そして、地球という限られた範囲の惑星において、この支配は根本的に私たちを自然界の奴隷として強化することになります。… 私たちは環境を徹底的に改造したため、今や新しい環境で生き残るために自らを改造しなければなりません。私たちはもはや旧環境で生きることはできません。進歩は未来に新しい可能性をもたらすだけでなく、新しい制約ももたらします。… 私たちは個人の破壊という確実な事実に直面する勇気を持たなければならず、同様に私たちの文明の最終的な破壊に直面する勇気も持たなければなりません。進歩の単なる信仰は力強い信念ではなく、やむを得ず受け入れられた無力な信念です。
[...]
したがって、新しい産業革命は二重の刃を持つ剣であり、人類の利益のために使用することができますが、人類が生存する時間が十分に長い場合にのみ、人類の利益のための時代に入る可能性があります。新しい産業革命は人類を滅ぼすこともできます。私たちがそれを理性的に利用しなければ、それはすぐにその地位に発展する可能性があります。

30 年後、偉大な医者、語源学者、詩人、エッセイストのルイス・トーマスは、危険と進歩の可能性についての美しい思索の中で、この感情の別の側面を明らかにしました。「もし私たちが続けるなら、私たちは一つまた一つの驚きを直面することになります。私たちは人類社会のために前例のない構造、前例のない思想、前例のない音楽を築くことができます… 私たちが自殺しない限り、私たちが感情と尊重を通じて自分自身を結びつけることができる限り、私たちの遺伝子もそうであると信じています。私たちがこの星上またはこの星外でできることは無限です。」ウィーナーの最も先見の明のある見解は、私たちが生き残るだけでなく、文明と種として繁栄するためには、これらの同じ感情と尊重の価値観を私たちの機械、情報システム、通信技術にコード化しなければならないということです。そうすれば「新しいパターンが人類の利益のために使用され、人類の余暇を増やし、その精神生活を豊かにすることができるのです。単に利益や機械への崇拝のためではなく。」

メアリー・シェリーが『フランケンシュタイン』でイノベーションと責任に関するこれらの永遠の問題を提起してから 1 世紀以上後、ウィーナーは私たちが現在直面している人工知能の崖について、驚くべき先見の明と現実的な見解を示しました。この時代、アルゴリズムは私たちが何を読み、どこに行き、どれだけの現実を見ているかを決定しています：

機械が社会に対して危険をもたらすのは、機械そのものからではなく、機械を使用する人々からです。
[...]
現代人、特に現代のアメリカ人は、多くの「どうするかを知っている」知識を持っているにもかかわらず、「何をするかを知っている」知識は非常に少ないです。彼は高度に敏捷な機械の決定を受け入れることに喜んでいますが、それらの背後にある動機や原理についてはあまり追求しようとしません。… 決定を下す目的で作られた機械が学習能力を持たない場合、それは完全に思考が硬直した機械になります。もし私たちがそのような機械に私たちの行動を決定させるなら、私たちは不幸になるでしょう。私たちがその活動の規則を事前に研究し、彼らの行動が私たちが受け入れられる原則に従っていることを十分に理解していない限り！一方、ボトル型の魔物のような機械は学習でき、学習に基づいて決定を下すことができますが、いかなる場合でも私たちの意図に従って私たちがすべき決定や私たちが受け入れられる決定を下すことはありません。このことを理解せずに自分の責任を機械に押し付ける人は、機械が学習できるかどうかに関わらず、自分の責任を天風に委ね、吹き飛ばされてしまうことを意味します。そして、彼はそれが旋風の背に乗って自分の元に戻ってくることを発見します。

ウィーナーのこの数十年前の本の核心は、すべてのプログラマー、技術者、起業家が心に刻むべき永遠かつ緊急の見解です。先駆的な哲学者スザンヌ・ランガーは、私たちが提起する問題が私たちの出す答えや私たちが構築する世界にどのように影響するかを考察しました。8 年後、彼は次のように書きました：

個々の人々が基本的なメンバーとして社会に織り込まれるとき、彼らが責任を持つ人として適切に機能できない場合、単なる歯車、レバー、リンクとして機能するだけであれば、彼らの素材が血であれ肉であれ、実際には金属と何ら変わりありません。機械の一部として利用されるものは、実際には機械の一部です。私たちが金属でできた機械に私たちの決定を委託するか、血肉でできた機械（機関、大型実験室、軍隊、株式会社）に委託するかにかかわらず、私たちが正しい質問をしなければ、正しい答えを得ることは決してありません。

エントロピーが支配する宇宙の背景の中で、私たちの存在は非常に驚くべきものであり、それは特別な責任を与えられています — この責任は人間の生活の意味の源であり助けです。ノーベル賞受賞者であるポーランドの詩人ヴィスワヴァ・シンボルスカも後に同感を持つでしょう。ウィーナーは次のように書きました：

私たちは完全に想像できます。生命は限られた時間内の現象です；最初の地質時代の前には生命は存在しませんでした；そして地球が無生命の時代に戻り、焼かれたり凍ったりする惑星になることもあります。生命に必要な化学反応が行われる物理的条件は極めて稀です。これを理解する人々にとって、次の結論は自然に避けられません：この地球上のどんな形の生命、さらには人間のような生命をも持続させることができる幸運な偶然は、全体的に不幸な結末に達しなければなりません。しかし、私たちは自分自身に対してこのような評価を行うことができます。生命の存在という一時的な偶然の出来事と人間の存在というさらに一時的な偶然の出来事を、最も重要な価値を持つものとして考えることができます。
非常に現実的な意味で、私たちはこの運命から逃れられない星の失敗した船の乗客です。しかし、失敗した船の上でも、人間の尊厳と価値は必然的に消えるわけではなく、私たちはそれをできる限り発揚させるよう努めなければなりません。私たちは沈む運命にありますが、私たちのアイデンティティにふさわしい態度で未来を見つめることができます。