この文章は『サイバーストリームの島々：プログラムされた社会における理性の避難所を求めて』という本の紹介記事です。この本は、コンピュータ科学者であり社会批評家である ** ジョセフ・ワイゼンバウム（Joseph Weizenbaum）とグンナ・ヴェント（Gunna Wendt）** との対談です。
技術の潜在能力とその実際のパフォーマンスの対比は、かなり不調和である可能性があります。タスクを簡単にすることを約束するツールは、人々の仕事を自動化するために使用され、接続能力を誇るデバイスはユーザーを疎外感を抱かせ、人類を宇宙に飛ばす機械は、人類に破壊をもたらす可能性のあるミサイルシステムの近親です。** ジョセフ・ワイゼンバウム（Joseph Weizenbaum）** は、技術の「矛盾した役割」についての文章でこの乖離を雄弁に捉え、「科学と技術の冒険は私たちを自己破壊の淵に導いてしまった…… また、多くの人々に前例のない快適さ、さらには自己実現をもたらした。私たちの中には、これが果たして公平な取引ではないと考え始めた者もいる」と指摘しました。
コンピュータ科学者でありマサチューセッツ工科大学（MIT）の教授であるジョセフ・ワイゼンバウム（Joseph Weizenbaum）は、彼のプログラムELIZAと、プログラミング言語 SLIP の開発における役割によって、コンピュータの歴史において正当な地位を得ました。しかし、ワイゼンバウムが同僚や仲間の中で際立っていたのは、彼がコンピュータ科学者としての成功ではなく、彼の分野の進歩がより広範な社会に与える影響を認識していたからです。彼は、自身の周囲の人々が技術に対して人間よりも興味を持っていることに気づいたとき、技術へのイデオロギー的な抱擁に対抗する象徴的で異端的な役割を受け入れました。
ワイゼンバウムにとって、コンピュータはこれらの機械が存在する社会環境から切り離すことはできませんでした。したがって、彼はコンピュータ評論家の肩書きを拒否し、自らを社会評論家として位置づけました。魔法使いが魔法の秘密を明かすように、ワイゼンバウムはコンピュータユーザーに機械的な魔法に惑わされないよう警告しました。彼は、コンピュータプログラマーが自らの創造物に責任を持つ必要があるという精神を強調し、彼が「強迫的プログラマー」や「人工知能」と嘲笑する人々、そして自らの仕事の意味や応用について考えることを拒否する人々と対立しました。
1923 年から 2008 年まで、** ジョセフ・ワイゼンバウム（Joseph Weizenbaum）** は、重要な社会的、政治的、技術的変化を目撃しました。これらの生活経験は、ワイゼンバウムの世界観に消えない印象を残しました — — 特に彼は単なる傍観者ではなく、これらの変化の積極的な参加者であり、特に技術の進歩においてです。コンピュータそのものだけでなく、インターネット、そしてコンピュータが実現するために使用される一連の目標も、ワイゼンバウムの情熱的な分析の下にあります。社会批評家でありコンピュータ科学者として、ワイゼンバウムの批判は時間が経つにつれてほとんどその力を失うことはありませんでした。この本は、ワイゼンバウムの思想の豊かさと、コンピュータに関する問題があまりにも重要であり、コンピュータ科学者だけに任せるべきではないという彼の信念を示しています。
結局、コンピュータと技術は社会において依然として矛盾した役割を果たしています。
ベルリンからミシガン、そしてマサチューセッツへ#
** ジョセフ・ワイゼンバウム（Joseph Weizenbaum）** は 1923 年 1 月 8 日にベルリンで生まれました。彼の父は正統派のユダヤ人の背景を持っていましたが、ワイゼンバウムの成長過程は特に宗教的な色彩を持っていませんでしたが、彼と彼の兄は宗教教育を受けました。ワイゼンバウム一家は、ナチスの暴行が最もひどかった時期の前にドイツを逃れることができました — — 1936 年にドイツを離れてアメリカに向かいました — — しかし、ファシズムの台頭の中で育った経験は、彼の残りの人生にわたって彼を追い続ける印象を与えました。
彼の家族が彼が 13 歳のときにドイツを離れたため — — 実際、彼らは彼の 13 歳の誕生日にドイツを離れました — — ワイゼンバウムは、彼が生まれた国で起こっている変化に初めて気づきました。ワイゼンバウム一家がドイツを離れたとき、少なくとも彼の目には、ナチスに追われている主要なグループは政治的な対立者であり、ユダヤ人ではありませんでした。しかし、ナチスの台頭と彼らの反ユダヤ政策は、ワイゼンバウムの生活に直接的な影響を与えました。ナチスの法律は、ワイゼンバウムが通っていた公立学校を去らせ、ユダヤ人男子学校に入学させました。ベルリンとワイゼンバウムの周囲の世界は、ますます不安全な場所になっていきました。街角の警官は、子供が助けを求めることができる存在から、ユダヤ人の子供が避けなければならない存在に変わりました。ベルリンは突撃隊が頻繁に訪れる家となり、そこで恐ろしいことが起こり、ヒトラー青年団のメンバーが通りに潜んで、ワイゼンバウムが学校から帰る途中で襲撃するのを待っていました — — しかし、これらの出来事はこの小さな男の子にとって、「私たちはただ残酷な社会に生きているだけ」という証拠に過ぎませんでした。ワイゼンバウムは移民の際に家族が去った具体的な理由を理解していなかったものの、彼は家族が「何か悪いものから逃げたばかりだ」と認識していました。不安感が高まる中、ワイゼンバウムは、彼の以前の多くの友人や同級生がベルリンに留まっていることに気づき、彼がイギリスに行き、次に大西洋を越えるときでさえも不安を抱いていました。
アメリカに到着した後、ワイゼンバウムは同年代の人々との違いを鋭く認識しました。移民は彼にとって計画的なものではなく — — 突然の出来事であり、やむを得ないものでした — — そのため、彼はアメリカに来たときには英語を話せませんでした。ドイツの学校とドイツのユダヤ人学校で教育を受けた後、ワイゼンバウムは新しい同年代の間での知識のギャップを克服しなければならないことに気づきました。彼は新しい国での生活の仕方を学ぶだけでなく、新しい国の歴史も学ばなければなりませんでした。しかし、ワイゼンバウムにとって、ミシガン州デトロイトでの生活に適応する際の異なることは力の源でした。彼は英語に苦労していましたが、数学への興味は急速に高まりました。なぜなら、数学は彼が理解できる学問だからです：数学は普遍的な言語だからです。ワイゼンバウムの数学への愛は、最終的に彼をコンピュータの世界へと導きました。
高校を卒業した後、ワイゼンバウムはデトロイトのウェイン州立大学で数学を学び、そこで学士号と修士号を取得しました — — 彼の学業は第二次世界大戦中に陸軍航空隊の気象学者として勤務したため中断されましたが、戦争が終わった後、彼は再び学業に戻りました。ワイゼンバウムのコンピュータに関する理解は、彼がまだ芽生えの段階にあったこの分野に本当に関与することを意味しました。彼はウェイン州立大学で「アシスタントとしてコンピュータの建設に参加する機会がありました」。21 世紀のパーソナルコンピュータは、ワイゼンバウムがウェイン州立大学で建設を手伝ったコンピュータとはわずかに似ているだけです。実際、彼が関与したコンピュータは「報告ホール全体を占めており」、愛称は「旋風（Whirlwind）」であり、次のコンピュータは「台風（Typhoon）」と名付けられました。ウェイン州立大学を卒業した後、ワイゼンバウムは民間部門で短期間働き、ゼネラル・エレクトリック社に雇われている間に、アメリカン・バンクの自動記帳および校正システム ERMA（Electronic Recording Machine-Accounting）の開発を手伝いました。1962 年、彼は企業界を離れ、MIT から訪問教授の職を提供されました。
まさに MIT で、ワイゼンバウムは ELIZA を創造し、そこで彼はコンピュータが社会に与える影響にますます関心を持つようになりました。
ELIZA#
MIT で、ジョセフ・ワイゼンバウム（Joseph Weizenbaum）は、彼のコンピュータ歴史における地位を確立したコンピュータプログラムを開発しました — — そのプログラムがELIZAです。ELIZA という名前は、この「言語分析プログラム」に選ばれました。なぜなら、それはピグマリオンのエリザのように、ますます上手に「話す」ことを教えられるからです。このプログラムは、自然で対話的な言語を使ってコンピュータとコミュニケーションを取ることを可能にしました。これにより、コンピュータの反応は、コンピュータが言われたことを理解しているという印象を与える可能性があります。ELIZA と「対話」する人は、プログラムを実行しているコンピュータに自然言語で情報を入力します。情報を入力した後、コンピュータは応答を生成し、同じ機械上に表示します。
初期の ELIZA のスクリプトは次のようなものでした：プログラムの質問に対する応答の仕方は、ロジャー心理療法士が使用する方法に似ています — — つまり、ELIZA は通常、ユーザーの情報に応じて、その情報の言葉を質問の形式でフィードバックします。実際、ELIZA のこの化身 — — 時には医者（DOCTOR）と呼ばれる — — 人間のユーザーは、プログラムと対話するように指示されます。これは、ELIZA が本当に対話に参加しているように見せるためです。なぜなら、「精神科のインタビューは、参加者が現実世界についてほとんど無知である姿勢を自由に取ることができる数少ない例の一つだからです」。**ELIZA の結果は、ELIZA がより意識的に見えることです — — これは、人間の対話者が彼らが理解されているという信念をコンピュータプログラムに投影する結果です。**ELIZA が「あなたの家族についてもっと教えてください」と答えるとき、その質問は家族に対する無知から生じたものではなく、正反対の印象を与えます。
ELIZA プログラムは、「変換ルール」を実行することで、実際の議論に参加しているように見せることができます。このルールは、プログラムがテキスト内の特定のキーワードを検出したときに適用されます。ELIZA が特定のキーワードを含むメッセージを受け取ると、プログラムはそのキーワードが出現するテキスト文字列を分解し、さらなる応答を促す形で再構成します。** これらのルールに従うと、「‘I am BLAH’形式の文は、BLAH の意味に影響されることなく‘How long have you been BLAH’に変換できます」。** ユーザーはキーワードを含むコメントや文を入力し、ELIZA はこれらの文を取得し、スクリプトのルールに従って、たとえば一人称代名詞を二人称代名詞に置き換え、適切な応答を提供します。さらに、ELIZA が適切なキーワードを検出できなかった場合、スクリプトは「初期の無内容なコメント、または特定の条件下での初期の変換」として応答するように設計されています。
ワイゼンバウムが ELIZA についての文章の最初の段落で、** 彼はコンピュータが魔法を演じているように見えることを認めます。しかし、「特定のプログラムが明らかにされ、その内部の動作が十分に簡単で理解しやすい言葉で説明されると、その魔法は消えます。今では、それは単なる一連のプログラムの集合に過ぎず、それぞれは非常に理解しやすいものです」と述べています。** この引用の後の文章で、ワイゼンバウムは ELIZA の動作方法を明確に詳細に説明し — — 彼は一歩一歩示します。それは魔法の結果ではなく、プログラムの部分の真の理解でもなく、巧妙なプログラミングの賜物です。もちろん、ELIZA を理解できると信じさせるために、ELIZA はそのスクリプトの外にあるものに大きく依存しています。ELIZA との対話において、「前述のように、話す人は ELIZA の応答に似ている外観を与えます」。人間が彼らが単にコンピュータと情報を交換していることを知っていても、特定の答えを生成するスクリプトやプログラムを知っていても、ELIZA の魔法は「理解を創造し維持する幻想がどれほど容易であるか」を証明しました。
ワイゼンバウムは、ELIZA が実際には受け取った情報を理解していないことを強調します — — たとえそれがスクリプト生成の応答がまさにその逆の印象を与えるとしても。「対話」が始まると、ELIZA プロジェクトの主要な目的の一つは、議論を続けることです。ELIZA は「自分自身の誤解を隠す」ことによって、また人間の議論者の誠意に依存し、プログラムが実際に彼らが入力した情報を理解していないことを示すような「しゃっくり」の証拠に遭遇したときに、早々に離れないようにします。この理解は困難かもしれません。なぜなら、人々は異なる背景を持っており、二人の人間が非常に異なる参照フレームを持つ可能性があるからです。ワイゼンバウムにとって、重要なのは人間が「許容範囲内」で相互理解することですが、ELIZA のようなプログラムが実現できるのは「象徴的にこれらのアイデアを処理することだけ」です。これは理解の証明ではなく、単にスクリプトを成功裏に実行する証拠です。
ワイゼンバウムは、二人の人間が本当にお互いを理解できる程度に懐疑的である一方で、彼の創造者として、彼は ELIZA を完全に理解していると確信しています — — したがって、彼は他の人々が ELIZA を誤解する方法にかなり驚いています。ワイゼンバウムが書いたように、「自分が機械と対話していることを非常に明確に理解している人々は、すぐにその事実を忘れてしまいます」。ある人々は「システムとプライベートに対話することを許可されることを求め、しばらくそれと話した後、私がどのように説明しても、彼らは機械が本当に彼らを理解していると主張し続けます」。さらに、ELIZA がロジャーズ精神分析医の仕事を成功裏に模倣できる程度は、多くの精神科医に深い印象を与え、その中にはこのプログラムが本当の患者に使用できると提案する者もいました。ワイゼンバウムは ELIZA に対する反応に困惑し、彼はコンピュータ科学の他の場所で現れるいくつかの傾向に不安を感じました。たとえば、人間をコンピュータに似た存在として描写しようとする傾向や、人間の脳を **「単なる肉の機械（merely a meat machine）」** として描写する主張です。
ワイゼンバウムにとって明らかであるのは、コンピュータが人々の生活の中で強力なツールとなり、**「私たちは技術的な隠喩を許可してしまった…… 技術そのものが私たちの思考過程に徹底的に浸透しているため、私たちは最終的に問題を提起する責任を技術に委ねてしまった」** ということです。この技術的隠喩の台頭は、コンピュータ科学者が彼らが創造したものに対する責任を回避することの一因です — — コンピュータの普及は、技術的隠喩がコンピュータの動作方法を完全に理解していない一般の人々の間で広く広がることを許可しました。
ELIZA が成功を収めた後、ワイゼンバウムはこれらの課題に取り組むことに向かいました — — これは「コンピュータ批評」と呼ぶよりも「社会批評」の偉業です。ワイゼンバウムは徐々に技術的隠喩の著名な批評家となり、彼がいる場所はこの隠喩が広がる地点の一つでした。
『コンピュータの力と人間の理性（Computer Power and Human Reason）』について#
** ジョセフ・ワイゼンバウム（Joseph Weizenbaum）の『コンピュータの力と人間の理性：判断から計算へ（Computer Power and Human Reason: From Judgment to Calculation）』は、多くの内容を含んでいます：コンピュータの基本的な動作原理の入門講座、コンピュータ科学における数学原理の平易な説明、コンピュータの神秘を解き明かそうとする試み、コンピュータ分野の専門家に対する倫理的な挑戦、そして、コンピュータが何かをできるからといって、それをすべきだというわけではないという確固たる批判です。書籍には数学や科学が含まれており、慣れていない読者に対しては、これらの部分が難しいかもしれないと警告していますが、これは単に学術的な読者との対話を求める本ではありません。いずれにせよ、『コンピュータの力（Computer Power）』は、技術が社会に与える影響を非難する最初の本ではありません。歴史家であり著名な技術批評家であるルイス・マンフォード（Lewis Mumford）** は、明らかにワイゼンバウムの思想に影響を与えました。しかし、ワイゼンバウムが技術批評家となるための重要な要因は、 — — マンフォードとは異なり — — ワイゼンバウムが実際にコンピュータ科学者であったことです。
『コンピュータの力と人間の理性』の冒頭で、ワイゼンバウムは自らの技術的資格を説明し、コンピュータとの関わりが彼にこの機械に対して非常に批判的な本を書くよう促したことを表明します。彼は ELIZA を本書の冒頭に置きますが、彼が科学的な同僚の観客に多くの技術的詳細を説明したのとは異なり、『コンピュータの力』では、彼自身がこのプログラムに引き起こされた反応の驚きを強調する方法で ELIZA の物語を語ります。ワイゼンバウムは、実際の精神科医がこのプログラムに治療の可能性を信じていることに驚き、人々がコンピュータとの交流に感情を投入する容易さに衝撃を受け、彼の分野の多くの人々が ELIZA が自然言語で受け取ったプロンプトを本当に理解できるプログラムを代表していると信じていることに驚きを強調します。しかし、ワイゼンバウムはこれらの奇妙な対抗を単に無視することはありませんでした。むしろ、彼が言うように、これらの経験は「私が ELIZA を使用する経験がより深い問題の兆候であると徐々に信じるようになった」となります。
ワイゼンバウムは、コンピュータが問題ではなく、むしろ人間をますます機械的に見る傾向を具現化していると強調します。ワイゼンバウムにとって、議論が勃発しています。「一方には、コンピュータがすべてのことを行うことができ、すべきであり、行うだろうと単純に言う人々がいて、もう一方には、コンピュータがすべきことは限られていると考える人々がいます」。ワイゼンバウムの議論にとって、「すべき」という存在は特に重要です。なぜなら、それは議論の焦点をコンピュータが持つことができる機能から、最初にそれらを構築すべきかどうかに移行させるからです。ワイゼンバウムにとって、これは **「社会秩序におけるコンピュータの適切な位置」** の問題であり、この問題はコンピュータが不適切な位置を持つことを意味します。ワイゼンバウムは、MIT の尊敬される教授であるにもかかわらず、「科学もまた中毒性の薬物と見なされる可能性がある」と指摘し、「服用量が増えるにつれて、科学は徐々に慢性毒薬になっている」と述べています。
コンピュータを人々が使用する他のツールと区別するのは、これらの機械の自律性です — — これは、電源が入ると、人間のさらなる制御を必要とせずに動作できることを意味します。時計（マンフォードに敬意を表して）は、この自律的な機械の重要な初期の例であり、コンピュータも同様に自律的な能力を持っていますが、その機能は単に時間を記録する以上に重要です。このような機械の意義は、現実世界の特定の部分のモデルに従って動作することです — — たとえば、一日を 24 時間に分け、各時間を 60 分、各分を 60 秒に分けることです。次第に、現実の特定の側面を模倣する中で、これらの自動機械は、最初に機械を構築した人間に現実のモデルを注入します。このモデルは、模倣されるものを置き換えます。したがって、技術の支援を受けて、「現実の経験は、常識の目に合理的に見えるように、数字の形で表現されなければなりません」。
コンピュータは第二次世界大戦の前後に登場し、戦後数年でさらに爆発的に普及し、軍事、産業、商業界はそれを一連の問題を解決するために必要なツールと見なしました。これらの問題は、人類にとって重要な技術的支援なしには解決できませんでした。小型化により、より小さなコンピュータがオフィスから飛行機まで適応できるようになり、コンピュータが新興の現代社会の不可欠な部分と見なされる過渡期が着実に進行しました。この傾向の最終的な結果は、以前の方法に戻ることがほとんど想像できないということです。しかし、コンピュータが不可欠であると見なされるからといって、それが本当に不可欠であるわけではありません。むしろ、起こったことは、コンピュータが単に「社会の生存の必要条件となり、その形はコンピュータ自体が形成過程で果たした役割を持つ」ことです。
コンピュータは軍事的なニーズと密接に関連しているため、社会を根本的に変えるように見えるかもしれませんが、ワイゼンバウムの見積もりによれば、コンピュータは「アメリカの社会と政治制度を保護するために使用されている。これは少なくとも一時的に彼らが巨大な変革の圧力に耐えるのを助けている」と述べています。実際、ワイゼンバウムにとって、コンピュータは社会、政治、経済の現状を縮小させる役割を果たしており、コンピュータの広範な分散は機械的な世界観がより多くの分野に根付くことを許可しました — — 同時にコンピュータは戦後の消費主義の爆発を支えるのに役立てられました。コンピュータが必ずしも正しい解決策であるかどうかにかかわらず、それはさまざまな分野で歓迎され、「ファッションや名声の理由から」 — — もしある人の競争相手が、商業的な競争相手や競争する超大国であっても、コンピュータを持っているなら、彼は自分が遅れをとることはできません。コンピュータは、その名前が示すように、計算タスクにおいて優れた性能を発揮しますが、計算能力以外の理由から、いくつかの社会的課題が依然として存在します — — 「技術の有効性は、技術とその対象に関わる問題です」。しかし、コンピュータへの崇拝は「技術」への賛美に過ぎず、「その対象」をしばしば無視します。しかし、1976 年に書かれた記事の中で、ワイゼンバウムはコンピュータが社会に複雑に絡み合っていることを認識しており、したがって重要なのは **「社会が新たに創造した行動様式は、古い行動様式の可能性をしばしば消し去る」** ことです。コンピュータは特定のタイプの情報に依存し、特定のタイプのタスクに優れ、特定の社会的、政治的、経済的力に導かれています — — コンピュータが多くの扉を開くことが描かれるかもしれませんが、ワイゼンバウムは、それが多くの扉を閉じることも強調しています。
コンピュータが代表する特別な問題は、単純なツールとは異なり、コンピュータを使用する多くの人々が機械の実際の動作方法についてほとんど知らないことです。コンピュータの安心できる側面の一つは、その規則性と規則を守る方法です — — しかし、「もし私たちがその機械に依存するなら、私たちは知らない法律の奴隷になり、したがって不安定な法律の奴隷になります。これが私たちの苦悩の根源です」。この苦悩を軽減するために、ワイゼンバウムは『コンピュータの力と人間の理性』の中で、コンピュータの動作方法を深く掘り下げ、比較的単純なゲームを説明することで複雑な計算スクリプトを示し、人々はコンピュータがゲームのルールを完全に遵守することを覚えておく必要があると強調します。ワイゼンバウムの「コンピュータの力はどこから来るのか」と「コンピュータはどのように動作するのか」という議論は、新米プログラマーを即座に育てるには不十分ですが、これらの章はコンピュータ内部の実際の状況を明らかにするのに役立ちます。ワイゼンバウムは、技術的な密度の高い散文を用いてチューリングマシンを説明し、コンピュータが複数のプログラムをスタックする方法を説明し、「すべての現代コンピュータの機械語のアルファベットは、‘0’と‘1’の二つの記号の集合から成り立っています。しかし、それらの語彙や変換ルールは大きく異なります…… コンピュータは高度な記号操作装置です」と指摘します。コンピュータは非常に効率的ですが、それでも自らのプログラミングルールに従わなければならず、特定の言語に依存しています。プログラムがそのスクリプトを成功裏に実行できることは、それが世界を本当に理解していることを意味しません。実際、ワイゼンバウムが言うように、「プログラミングが難しい本当の理由の一つは、ほとんどの場合、コンピュータがそのプログラムが処理すべき現実世界の側面について何も知らないことです」。
コンピュータとその動作するプログラムは自然界において有機的に存在するものではありません。むしろ、コンピュータとそのプログラムは、人間が行った一連の選択の物理的な表現です。コンピュータ科学者でありマサチューセッツ工科大学の教授であるワイゼンバウムは、決定を下す責任を持つ人々に非常に精通しており、これらの決定がより広範な公衆が最終的に使用するコンピュータシステムにつながります。ワイゼンバウム自身はプログラマーであるにもかかわらず、彼は同僚を批判することを恐れませんでした。ワイゼンバウムにとって、彼のような「専門家」と彼が「強迫的プログラマー」と呼ぶ人々には違いがあります。** 前者は「プログラミングを目的そのものではなく、目的を達成する手段と見なす」** のです。ワイゼンバウムは、このような人々を職業的なギャンブラーに例えます。ワイゼンバウムは「強迫的プログラマー」を、コンピュータとの相互作用を目的そのものと見なす人々として描写します — — たとえ彼らが多くのプロジェクトに取り組んでいるとしても、彼らの主な目標は単にコンピュータとの作業を続けること、または「侵入する」ことです。ワイゼンバウムは「これらのコンピュータの悪党」を嫌悪し、彼らは「コンピュータの存在によってのみ存在し、コンピュータのためだけに存在する」と述べ、今日まで続くコンピュータプログラマーのステレオタイプを描き出します — — しかし、ワイゼンバウムの描写が特に鋭いのは、彼がこのタイプの人々を想像しているのではなく、MIT でコンピュータ科学者および教授としての任期中に頻繁に目にした人々を描写しているからです。
ワイゼンバウムの見積もりによれば、「強迫的プログラマー」をコンピュータに引き寄せる理由は、コンピュータシステムにおいて示される力への魅了と崇拝です。確かに、「制御を追求することはすべての技術に内在するものですが」、コンピュータは熟練したプログラマーが喜んで制御を握ることができる空間を提供します。「強迫的プログラマーにとって…… 生活は単に巨大なコンピュータ上で動作するプログラムに過ぎず、したがって「生活のすべての側面は最終的にプログラミング用語で説明できる」となります。ワイゼンバウムにとって、コンピュータの危険性は、コンピュータの仕事に従事する人々がこれらの「強迫的プログラマー」を代表していることであり、彼らのコンピュータへの忠誠は他の価値を超えてしまっています。しかし、ワイゼンバウムはこれを悪のせいにすることはなく、ある種の空虚な無責任さを、特定のプログラマーや他の現代の科学者や技術専門家が彼らの技術的な科学的手段と自身の目的を混同することに帰結させます。**「強迫的プログラマー」はスキルを欠いているわけではありませんが、この「スキル」は目的のないものであり、さらには虚無的です。それは、行使される可能性のあるツールを除いて、何の関係もありません」。** しかし、ワイゼンバウムの「強迫的プログラマー」の描写において、重要な詳細は、これは、世界のすべての複雑さをコンピュータプログラムで捉えられるほど単純化できると信じている人物です。
ある意味で、コンピュータが代表するのは、プログラマーがスクリプトを書くための舞台であり、その後にそれを実行します。コンピュータは、スクリプトを厳密に実行し、正確なルールに従うことに優れています。したがって、コンピュータが何をしているのかを理解するためには、従うコードを確認することができます。人間の状況はさらに厄介です。確かに、人間は大量の情報を処理し、応答し、人間の行動は「科学が発見し、特定の科学的枠組みの中で形式化できる法則」に従います。それにもかかわらず、ワイゼンバウムはすべての人間の知恵と理解が科学的枠組みに合うルールに単純化されるという考えに不満を抱いています — — このルールの存在に対する信仰がいくつかの人工知能（AI）研究者の自信を導いているとしても。結局のところ、ワイゼンバウムが言うように、機械は「青春期の恋愛の失望のような人間の問題を考えるためにどのような装置を必要とするのか？」ということです。しかし、機械の存在により、コンピュータプログラマーが持つ理論には特別な重要性があります。これらの理論は、単なるテキストではなく、コンピュータ上で実行されると、理論が適用されるモデルになります。コンピュータはスクリプトを実行する舞台を提供します。コンピュータは印象的な結果を示すかもしれませんが、ワイゼンバウムは警告します。「モデルは常に単純化であり、それが模倣しようとするものの理想化です」。不幸なことに、コンピュータの複雑さとモデルの固有の単純化は、しばしばコンピュータができることやすでに行ったことに対する広範な誤解を引き起こします。
「コンピュータは真に強力でしばしば有用な隠喩の源となりましたが、しかし「公衆がコンピュータの隠喩を受け入れることは、困難で複雑な科学的概念に対する最も曖昧な理解に基づいています」。ワイゼンバウムにとって、この隠喩の普及は危険な傾向を示しています。つまり、コンピュータの動作原理を完全に理解していない人々が、世界のすべてをコンピュータモデルに変えることができると信じるようになっているのです。コンピュータの隠喩は「強迫的プログラマー」のイデオロギーを、プログラミング経験のない人々に超えて広げ、コンピュータが達成した最新の技術的成果を祝う人々の助言を受けやすくします。その結果、「コンピュータの隠喩は別の灯台になり、人々はその光の下で、迫切な問題の答えを探し求めることになります」。もちろん、特定の問題は計算的方法で解決するのに適していることがあります — — その中には、チェスのスキルのように、ある種の人間の知恵の成果を証明するように見える問題もありますが、ワイゼンバウムは、この勝利がコンピュータが迅速に計算し、論理プログラムを実行する力に関連していることを強調します。いくつかのコンピュータ科学者にとって、コンピュータが得意とする問題のタイプは、人間が解決しようとする問題のタイプの同義語と見なされることがほとんどですが、ワイゼンバウムにとって、「正にこの普遍性への無理な要求が、彼らのコンピュータ、計算システム、プログラムなどの使用を科学理論の地位から隠喩の地位に引き下げたのです」。
ワイゼンバウムがコンピュータの隠喩の問題に対する誤解の個人的な経験は、主に彼の ELIZA の経験に関連しています。** コンピュータに何かをさせるには、コンピュータに何かをするように指示しなければなりません。これは必ずしもコンピュータが指示された内容を理解していることを意味するわけではなく、単にそのスクリプトが特定のコマンドを実行できるようにしているのです。** 人間は「自然言語で表現されたコミュニケーション」を理解するのが得意ですが、コンピュータはその逆で、「通常のプログラミング言語の正確さと明確さ」を必要とします。ワイゼンバウムのプログラム ELIZA は自然言語のプロンプトに反応できますが、プログラム自体は自分に言われたことを理解していません — — 逆に、それは単にスクリプトに従っているだけです — — そして、コンピュータの動作原理に不慣れな人々の中で、この理解の錯覚は最も強く感じられます。
ELIZA には多くの特徴がありますが、知性はその一つではありません。ワイゼンバウムにとって、ELIZA は人々が機械に知性を与えようとする熱心な方法を示していますが、その必要はありません — — これは彼が人工知能の分野のいくつかの同僚の中で見た強い傾向であり、彼はこれらの人々を **「人工知能主義者（the artificial intelligentsia）」** と呼びました。ワイゼンバウムは、人工知能科学者が多くのタスクを実行できるプログラムを創造していることを認めていますが、彼はこの傾向が傲慢であり、人工知能の欠点は「特定のシステムのプログラムの制限の中に見つけられる」と考えています。コンピュータに不慣れな人々は ELIZA のパフォーマンスに魅了される理由がありますが、「人工知能」の言い訳は何でしょうか？ワイゼンバウムは彼の生涯にわたってコンピュータの能力の大きな飛躍を目の当たりにし、今日コンピュータにとって不可能なことが明日には可能になるかもしれないことを認識しています。しかし、問題はますます増え、もはやコンピュータが何をできるかという問題ではなく、彼らが何をすべきかという問題になっています — — 「適切な人間の目標が機械に適さないことはあるのか？」という問題です。
「人間は機械ではない…… コンピュータと人間は同じ種ではない」というのは、ワイゼンバウムが信じる信念に対する鋭い反論であり、これらの信念は「人工知能の異常な壮大な幻想」を発展させることを可能にしました。ワイゼンバウムにとって、知性は複雑で困難な概念であり、単純に簡略化できるものではありません。したがって、知性を最終的に定義しようとする試み、たとえば IQ テストは、知性の一部のひらめきを捉えることができるに過ぎません。明らかに、コンピュータは知性を示すように見える偉業で成功を収めることができますが、同時にこれは過度に単純化されています。コンピュータはチェスで勝つことができるかもしれませんが、それは赤ちゃんのおむつを替えることができることを意味しません。ワイゼンバウムにとって、これらは「比較できない」大きく異なる知性の問題です。コンピュータは量的なタスクに優れていますが、ワイゼンバウムにとって、人間には根本的に量化できないものがたくさんあります。ワイゼンバウムは、「人工知能」のメンバーがこの批判を科学的な挑戦と見なすことができ、彼らはこの挑戦に対抗するためにより複雑な機械を製造しようとするかもしれないことを認識しています。しかし、ワイゼンバウムにとって、これは学術的な決闘の問題ではなく — — 道徳的な問題です — — なぜなら、「問題は、そうしたことができるかどうかではなく、これまでの人間の機能を機械に委託することが適切かどうかです」。
人間の状況については、多くのことがまだ未知のままです — — 人間であることに関する他の多くのことは、人間の経験の磨きによって学ばれる必要があります — — これらのことは量化やプログラミングが容易ではありません。もしコンピュータやロボットが最終的にそのような成熟度に達し、人間に本当に似た知性を示すなら、それらの知性はかなり「異質」なものになるでしょう。なぜなら、それらの知性は異なる社会的条件の下で形成され、さまざまな経験に関与しているからです。知性の他にも、感情や無意識の問題があり、これらは計算や冷酷な論理によって制約されることは容易ではありません — — したがって、ワイゼンバウムは「科学が完全に理解できないものがある」と警告します。この感情は、彼の科学的同僚への警告であると同時に、一般の人々への警告でもあり、全能の主張に対して警戒を怠らないように促しています。ワイゼンバウムにとって、これは基本的に、コンピュータにとって不適切なタスクがあるという信念に結びついています — — 「私たちが今、コンピュータを賢くする方法を持っていないのなら、今、コンピュータに知恵を必要とするタスクを与えるべきではありません」。
ワイゼンバウムの警告は、すでに多くの不適切なタスクがコンピュータに委ねられているときに発せられました。ワイゼンバウムが『コンピュータの力と人間の理性』を書いていたとき、コンピュータは企業や大規模な組織の普遍的な特徴となっていました — — それがまだすべての家庭の固定装置にはなっていませんでした。これらの機械は、最初はそれが役立つという約束で販売されましたが、現在の状況は、これらの機械が「ユーザーの理解を超え、彼らにとって不可欠なものになっている」ということです。本来は助けを提供するはずのものが、人々に無力感を与えるものに変わってしまいました。コンピュータの内部動作に不慣れな人々にとって、この苦痛は特に危険です。なぜなら、彼らはかつてコンピュータが万全であると信じ込まされ、自分の行動能力と責任が機械に奪われたと感じているからです。しかし、ワイゼンバウムは彼の読者に対して激しく警告します。「技術、政治、社会的必然性の神話は強力な良心の安定剤です。それは、真に信じるすべての人から責任を取り除く役割を果たします。しかし、実際には、行動者は存在します！」コンピュータの隠喩を称賛する者が夢見る世界は、こうして不可避なものとして描かれます — — 機械の前で無力感を抱く人々は、反対意見を表明することに意味があるのか疑問を抱き始めます。彼らはカヌート王に例えられるよりも、流れに逆らうことを選びます。
しかし、ワイゼンバウムは固定された安寧を受け入れることを拒否します。科学と「技術知識人の修辞」は論理的に合理的なものとして描かれますが、ワイゼンバウムにとって、これは「道具の推論であり、真の人間の理性ではありません」。** コンピュータの隠喩の支持の下で作られた世界観では、世界の巨大な複雑性が「‘プログラム化された’ものに変換され、人々は‘入力’や‘出力’について話し、フィードバックループ、変数、パラメータ、プロセスなどについて話し、最終的には具体的な状況とのすべての関連が抽象化されます。」** これは受動的で冷淡で無力な秘訣です — — なぜなら、人間の生活は単に機械に入力され、分析されるデータの問題に過ぎないからです。「道具の理性」に過度に依存し、そのような推論に最も適した技術は、黒魔術に包まれた迷信となっています。そして、魔法使いだけがその入門権を持っています。成功したコンピュータ科学者であるワイゼンバウムは、これらの「魔法使い」の仲間に加わることができる人物ですが、彼は道具の理性に惑わされることはありませんでした。確かに、ワイゼンバウムは彼の反対意見が技術専門家によって「反技術、反科学、最終的には反知性」と見なされることを知っていますが、ワイゼンバウムは「私は理性のために争っています。しかし、** 私は理性が直感や感情と切り離されるべきではないと主張します。私は科学と技術の合理的な使用を主張し、それを神秘化することや、ましてやそれを放棄することを主張しません。** 私は科学的計画に倫理的思考を取り入れることを促します。私が反対するのは道具の理性の帝国主義であり、理性そのものではありません」。
ワイゼンバウムの倫理的再評価の呼びかけは、カッサンドラの叫びのようには聞こえず、彼はこの叫びが通常は無視されることを忘れていません。科学と技術は決して人類文明の新たな力を代表するものではありませんが、その影響の規模は大幅に増加しています — — そのため、多くの人々にとって魅力的な力は、安全に制御し管理できる範囲を超え、選択肢を選ぶ能力を徐々に侵食しています。多くの人々は、少なくともコンピュータ駆動の技術進歩によって表面的な利益を享受し、これらの装置を放棄することに躊躇していますが、これは深刻な問題です。しかし、ワイゼンバウムは「倫理は根本的に放棄することに関わる」と考えています。もし技術と科学の力が人間を娯楽的なロボットに変えてしまったのなら、それは何の役に立つのでしょうか？ますます多くのコンピュータに浸された世界で、コンピュータの能力が欠如しているために深刻な社会的および政治的問題が依然として存在する理由は何でしょうか？ワイゼンバウムが特定の状況でコンピュータを放棄するよう呼びかけるのは、すべての状況でコンピュータを受け入れることが人間を放棄することにつながるからです。ワイゼンバウムが文中で再確認するように、「人間の機能の中には、コンピュータに取って代わられるべきではないものがあります。これは、コンピュータが何をできるか、またはできないかに関係ありません。尊重、理解、愛は技術的な問題ではありません」。
鋭い責任感がワイゼンバウムを駆り立て、彼はコンピュータとこれらの機械に魅了された人々に挑発的な文章を発表しました。** ジョセフ・ワイゼンバウム（Joseph Weizenbaum）** はコンピュータ科学者であり、他者にコンピュータ科学を教える科学者でもあり、彼は『コンピュータの力と人間の理性』の中の情報が彼の同僚や仲間に共鳴することを望んでいました。ワイゼンバウムにとって、「科学者や技術専門家は、その能力により、特別な重い責任を負っており、この責任は技術的必然性のようなスローガンの外見の下に押し込まれるべきではありません」。したがって、ワイゼンバウムは科学者や技術者が自らの行動の結果を考え、彼らの「内なる声」を再発見し、最も重要なことは「ノーと言うことを学ぶ」ことが重要であると考えています。
責任の必要性#
ワイゼンバウムの社会批評の背後には、彼の幼少期にナチスから逃れた記憶が漂っています。彼の作品において、ファシズムに関連する人物は恐ろしい怪物や説明できない邪悪な巨石として現れるのではなく、人間の他の部分に対する責任を失った実在の人物の例として現れます。アドルフ・ヒトラーやナチス党の指導者層は、ワイゼンバウムによって詳細に研究されることはありませんでした。むしろ、彼の焦点は「善良なドイツ人」のイメージ — — 周囲で起こっている恐怖の出来事に無知である人々に向けられています。ナチス政権の巧妙に組織された無知の状態は、ワイゼンバウムを納得させるものではなく、彼は「善良なドイツ人が知らなかった本当の理由は、彼が自分のユダヤ人の隣人に何が起こったのかを尋ねる責任を感じたことがなかったからだ」と提起します。彼のアパートが突然空になったとき、すべての空のアパートはどうなるのでしょうか？ワイゼンバウム一家がベルリンを逃れたとき、彼らの住居は突然空になりましたが、住民がより痛ましい理由で消えたとき、すべての空のアパートはどうなるのでしょうか？ワイゼンバウムが 1950 年代に初めてドイツに戻ったとき、彼はナチス時代を経験したドイツ人たちを見つめ、「時にはもっと、時には少なく、あなたは何をしましたか？あなたは誰ですか？あなたは黙っていましたか？それとも抵抗しましたか？それとも熱心に参加しましたか？」と考えました。
「善良なドイツ人」に加えて、ワイゼンバウムの職業的なつながりは、ナチス政府のために働いた科学者たちの生活を特に反省させました。ワイゼンバウムの見積もりによれば、多くのドイツの科学者はナチス政権の下で「善良なドイツ人」の光環を身にまとい、「私たちは科学者です。政治は私たちには関係ありません。元首が決定します」と表現しました。これは、多くのドイツの科学者が戦後に便利に隠れることができた立場であり、ヴァーナー・フォン・ブラウンのような人物が冷戦中に重要な役割を果たし、彼らの過去の関係にイデオロギー的な保証を提供しました。大陸全体を席巻し、数百万人の命を奪ったナチズムは、責任を問われることのないものになりました — — 警告として掲げられた暗い章ですが、決して読まれることはありませんでした。ワイゼンバウムが戦後ドイツで観察した逆説は、突然誰も起こったことに責任を持たないように見えることです — — 市民は無知を主張し、科学者は彼らの発明がどのように使用されるかに関して無関心であるかのように振る舞います。
ナチスの残虐な支配について、「二度と起こらない」という言葉がよく引用されますが、ワイゼンバウムの作品において、この「二度と起こらない」は別の性質を持ち、「私たち科学者はもはや責任を逃れることはできない」と言っているかのようです。ワイゼンバウム自身が言ったように、**「責任を負うことは道徳的な問題です。最も重要なのは、自分の限界と自分の道具の限界を認識し、受け入れることを要求することです。不幸なことに、完全に逆のことをする誘惑は非常に大きいのです。」** ベトナム戦争の発動に重要な役割を果たしたコンピュータから、より破壊的な原子兵器の進展に至るまで、ワイゼンバウムにとって、科学者や技術専門家の仕事は、世界の暴力を支え、許可する上で重要です。これらの生命を終わらせる手段の確立は、科学の黙認に依存しており、これについてワイゼンバウムは彼の同僚に思い出させます。「私たちがいなければ、それは続かない！私たちがいなければ、軍備競争、特に原子競争は続かない。」
確かに、科学界は軍事から自らを切り離すことが難しいです — — なぜなら、多くの科学者の研究は、国防省の各部門からの寛大な資金提供に大きく依存しているからです。ワイゼンバウムは、彼と彼の同僚の仕事への影響を認識しており、彼は MIT の教授であり、「MIT では、私たちはベトナム戦争のために武器や武器システムを発明しました……MIT はペンタゴンと密接に関連しています」と非常に明確に述べています。この科学界の課題は、ワイゼンバウムが教えている大学を超えており、科学者は自らのプロジェクトがどのような目的で使用されるのかを理解する必要があると彼は率直に述べています。「今日、私たちはほぼ確実に知っています。すべての科学的および技術的成果は、可能な場合には軍事システムに使用されることになります」。見た目には無害なプログラムでさえ、その本質が最終的に暴力的な事業に役立つ可能性がある — — ワイゼンバウムはこれを認識し、この影響に直面する必要があると考えています。コンピュータと科学は人道的な目的に役立つことができますが、反人道的な影響への懸念を排除することはありません。
ワイゼンバウムは、ドイツの科学者のように、自分の仕事の影響に対して無責任になることを決して許可しないと誓いました — — たとえ彼が多くの同僚が彼の厳格な責任の呼びかけに耳を傾けたがらないことを観察してもです。したがって、ワイゼンバウムは科学者の義務について率直に批判する者となり、軍事化に反対し、不公正なときに静かにオフィスに座ることを拒否しました — — この過程で、彼は自らが MIT の「いわば無花果の葉（a kind of fig leaf）」になってしまったことを認識しましたが、彼は道徳的原則を守る象徴的な人物であり続けることを誓いました。ワイゼンバウムは「強迫的プログラマー」、「技術知識人」、「人工知能」を呼びかけ、彼の科学者仲間に挑戦することを厭いませんでした。** ルイス・マンフォード（Lewis Mumford）やハンス・ヨナス（Hans Jonas）** のような他の社会批評家も、科学者が責任を負う必要があるという記事を書いていますが、ワイゼンバウムのような科学界の人々によって発表されるこの批判は特別な活力を持っています。ワイゼンバウムが科学者に責任を持つように促すとき、彼はそれがどのようなものであるかの例として自らを示します。
まさにこのコミットメントが、ワイゼンバウムを科学と技術に関するさまざまな分野の議論に参加させ、コンピュータや武器システムの議論に限らず、「人工知能」にも挑戦させました。ワイゼンバウムは「人工知能界が人間を機械だと叫ぶ」傾向に強く反応しました。彼らの中心的な主張は、全人間を科学的な観点から理解できるということです。ワイゼンバウムにとって、この考えは危険な傲慢な傾向を示すだけでなく、「生命に対する深い軽蔑」です。** マーヴィン・ミンスキー（Marvin Minsky）も MIT の教授であり、彼の言葉は特にワイゼンバウムを怒らせました。「脳は単なる肉の機械（the brain is merely a meat machine）」** という言葉は、ワイゼンバウムが彼の著作の中で繰り返し言及する言葉です。「肉の機械」は、人工知能界の見解を単純に要約したものであり、技術的隠喩の原則を強調する一部です。人間の思考のような複雑なものが、容易に量化できる情報量に単純化できると考えることは、ワイゼンバウムにとって非常に不条理に思えます。彼は不幸にも、この見解が「人工知能コミュニティ、人工知能界、そして多くの科学者、エンジニア、一般の人々の重要なセクターの中で非常に一般的であることを認識しています」。知性は人間でも人工知能でも定義するのが難しく、したがって量化するのも難しいですが、「人工知能」に関する声明は、しばしば彼らが知性の意味について決定的な合意を持っているという印象を与えます。ELIZA の研究を通じて、ワイゼンバウムはコンピュータの知性に関するさまざまな誤解を個人的に観察し、人工知能分野の著名な科学者（たとえばミンスキー）が提起する見解を目の当たりにしました。彼は、技術的楽観主義が、少し厭世的であるならば、「人工知能の精神がコンピュータ実践の多くの潮流に広がっている」と認識しました。
ワイゼンバウムは自らをコンピュータや技術の批評家と見なすのではなく、社会の批評家と見なしています。しかし、彼の社会批評は主にコンピュータや技術が社会に与える影響に焦点を当てています。したがって、ワイゼンバウムは他の思想家と共に、「科学と技術の無制限な発展が引き起こす状況に対して深刻な懸念を表明しています」。若い頃、ワイゼンバウムは初期のコンピュータによってもたらされた快感を享受し、その発展において重要な役割を果たしましたが、彼が「技術知識人」と共に働いた経験と、技術が社会に与える影響の観察は、彼の初期の熱意を抑制しました。1979 年、マサチューセッツ州ケンブリッジで開催された会議で、ワイゼンバウムは痛切に指摘しました。「私たちの文化には薄弱な価値体系があり、集団的な福祉をほとんど使用せず、したがって技術の前では壊滅的に脆弱です」。このような背景の中で、科学と技術を過大評価する体系が容易に優位に立つことができ、特にそれらが同時に多くの人々が経験する無力感に対する安心の説明を提供する場合です。技術の潜在能力とその実現の並置は、持続的な矛盾の問題です。「一方では、コンピュータは原則的に、すべての人にとって豊かな世界に生きることを可能にしますが、他方では、私たちはそれを使って苦痛と混乱の世界を創造しています」。ワイゼンバウムは彼の作品の中で、技術との取引は「ファウストの契約」であると何度も言及しています — — しかし、これは依然として、誰がメフィストと契約を結ぶ責任があるのかという問題を残します。
ケンブリッジの会議で、ワイゼンバウムは特に「私たち（we）」や「私たち（us）」のような用語が、技術や科学に関する議論の中でどのように使用されるかに注目しました。ある機械は、実験室の数人の決定から生じ、巨大なグローバルな影響を及ぼすことができます — — しかし、その代償はしばしば「それは私たちに奉仕するだろう」として枠組み化されます。このすべてには「私たち（us）」が含まれており、奇妙な罪悪感を表しています。ワイゼンバウムは無知を口実にする「善良なドイツ人」を批判し続けていますが、彼の批判は、彼らが主張する無知が錯覚であり、意図的な自己欺瞞であると感じているからです。しかし、企業や大学の技術的変革の中で、起こっている変化に対する無知は虚偽ではありません。ワイゼンバウムは子供の頃、初期のナチス政権