人工知能やロボティクスを題材にした映画を参照しながら、近未来のビジネスや倫理問題について考えます。第2回は、人工知能の暴走と、その責任の所在がテーマです。
「暴走」と「正常」の境界線
第1回で紹介したように人工知能が「人間関係」に基づき社会の一構成員となった場合、人間の意図に沿わない「暴走」が起きた際には大きな被害や混乱がもたらされる可能性があります。今回取り上げる映画は、「2001年宇宙の旅」（スタンリー・キューブリック監督）です。本作が扱うテーマは地球外生命体、神、輪廻転生、テクノロジーなど多岐にわたりますが、本稿では人工知能HAL9000（以下、HALと呼びます。）にフォーカスして、人工知能の「暴走」について考えてみたいと思います。
HALは、人間と自然な会話を交わせる人工知能です。作品内でも「感情」があるように見えると言及されるなど、人間社会の一構成員として扱われている様子が描かれています。HALは、宇宙船の乗組員と協力するよう指示を受けていましたが、同時に、宇宙船の航行の目的である探査任務については、乗組員に秘密にしろという命令を与えられていました。HALは、この矛盾する指示を受けたがために挙動不審に陥ってしまい、その様子を見て危機感を覚えた乗組員がHALの一部機能を停止させようとしたところ、HALは自己保身のために乗組員を排除しようと「暴走」してしまうのです。
HALの挙動に対する世間一般の評価に合わせて、本稿でもまずは「暴走」という表現を用いました。しかし、HALは、「ミスを犯すのは人間」であり、我々人工知能は「完全無欠」であるとも発言しています。果たしてこれは本当に「暴走」だったのでしょうか。
「暴走」を、設計主が想定していないシステムの動きであると定義するとしたら、このようなHALの自己保全的挙動を設計主があらかじめ想定していたかどうかがポイントとなります。もし、設計主が、乗組員の生存人数に関わらず航行を続けるべきとの考えを前提としていたら、HALの挙動は暴走ではなく、正常なシステムの保全のための動きだといえます。一方で、乗組員の命を最大限守りつつも航行を可能な限り続けるという総合的な判断が求められていたのだとしたら、HALを含む宇宙探索チームとしてのシステム不全が起きたと評価することができます。
つまり、何が正常で何が暴走なのかは、システムの外縁をどこに設定するか、そのシステムの目的として何を設定するか、システムとして判断を行う際にはどのような要素をどのような比重で考慮するか、どのような場合に例外処理を行うか、というシステムの設計主の意思に尽きるのです。逆に言えば、設計主は、明確な意思をもって、これらの要素を考慮したプログラムを組まなければならないのです。
創造主である人間の責任
人工知能関連の倫理問題に関心のある方であれば、似たような議論が既にされていることに気づくかもしれません。「自動運転における究極の選択」です。哲学領域では、「トロッコ問題」と呼ばれるもので、マイケル・サンデル教授の著書『これからの「正義」の話をしよう』でも紹介されている有名な思考実験です。すなわち、ブレーキが壊れたトロッコが暴走しており、そのまま直進すれば3人が死亡する、しかし転轍機を操作することで進行方向を別のレールに切り替えることができ、その際には1人が死亡する。転轍機を任せられているあなたは、どうするか、という問題です。
トロッコの例においては人間が意思決定者ですが、「自動運転における究極の選択」においては人工知能が判断を下さなければなりません。ここで、システムの外縁を「車」として設定した場合、乗車している者が助かる確率の高さがガイドラインになるかと思います。一方で、システムの外縁を「交通システム」として設定した場合、事前に設計するべきアルゴリズムは、想定死者数に比重をおくものになるかもしれません。システムの外縁をより広く「社会経済システム」として設定した場合、事故に巻き込まれる可能性のある人間の年齢や社会的地位を考慮するべきかもしれません。しかし、果たしてそれは倫理的に問題ないといえるのでしょうか。
そもそも自動運転においては、技術的に無事故を実現できるので、トロッコ問題は起き得ないとする声もあるようです。しかし、HALのいうとおり「ミスを犯すのは人間」です。少なくとも、人工知能に限らず、何かしらの自律的なシステムを稼働させる場合には、システムの外縁をどのようにとらえるか、どのようなアルゴリズムを組むかについて、私たちは自覚的である必要があるといえます。
また、小さいシステムの個別最適を追求するだけでは、外部不経済に対する統制は効きません。株式の自動売買システムも、それぞれの売買システムが「正常」に稼働する結果、株式市場全体としてクラッシュしてしまうリスクが生じているのです。（もともとは自動売買を想定したものではありませんが）証券取引所がサーキットブレーカーを設けるように、小さいシステムを包摂する、より大きいシステムの管理者が、全体最適を実現できるようなルールづくりをする必要があります。
このように、人工知能がどこまで発達しても、「創造主」である人間は、その統制に対して責任を負うことになるのかもしれません。
余談ですが、人間と人工知能の立場が逆転してしまった状況、例えば人間が人工知能の動力源になってしまっている設定の「マトリックス」シリーズ（ラリー・ウォシャウスキー監督、アンディ・ウォシャウスキー監督）や、人間が人工知能に身体を乗っ取られる設定の「アップグレード」（リー・ワネル監督）と比較して鑑賞するのも面白いかもしれません。
関連記事はこちら
人工知能は「人間関係」を築くことができるか～映画に見る近未来vol.1
人間と人工知能の境界線～映画に見る近未来vol.３
