輪読用の備忘録として読んだ本の内容をメモっておきます。
概要
どんな本？
人間レベルの人工知能（汎用人工知能）、そして人間を超えたレベルの知能（超知能）を実現するために考えうる道筋と、その過程にどのような技術的課題が存在するかを検討します。また、人工知能が実現された場合の社会へのインパクトや想定されるリスク、人工知能に意識は宿るのか、といった問いについても議論します。
どんな筆者？
wikiより
Murray Patrick Shanahan is a Professor of Cognitive Robotics at Imperial College London,[3] in the Department of Computing, and a senior scientist at DeepMind.[4] He researches artificial intelligence, robotics, and cognitive science.[1][5]
だそうです。
つまり、ロボット工学やCSに対してちゃんとテクニカルなバックグラウンドを持った人が書いてる本だよってことですね。
要するにどういう話？
汎用人工知能を実現するには、生体脳を模倣する方法と、強化学習の枠組みでゼロベースの知能を構築する方法があります。いずれにおいても、ひとたび汎用人工知能（人間レベルの人工知能）が実現されれば、その生物的・時空間的な制約に縛られない特性から、超知能も実現可能になると考えられます。人工知能の実現はさまざまな分野において革新をもたらしますが、同時に人工知能の意識の有無や人権の適用など、従来の社会の枠組みでは対応できない課題が発生するでしょう。また、特にゼロベースの人工知能は目的達成のためにあらゆる手段を講じうるであろう事、その場合人類の実存すら危ぶまれるであろう点を考えれば、報酬関数を適切に設計することが非常に重要であると言えます。
各章の内容
1章：人工知能への複数の道
1997年にIBMが開発したシステム「ディープブルー」がチェスで人間に勝利したように、人工知能研究は特定の分野でいくつかのめざましい成果を見せています。しかし、人間のように適応性を持って身辺の様々なタスク（例えば炊飯や事務作業など）を汎用的に処理することができる「汎用人工知能」というべきものは未だ実現できていません。
汎用人工知能をつくるには
汎用人工知能を作るには、どうすれば良いでしょうか。人工知能の仕様として、まず、「人間が身体性をもつ」つまり「環境に対して脳を中心とした知覚と行動のループを構成し、目的に応じた行動をとる」ことを鑑みれば、汎用人工知能は身体をもつ（ロボットである）必要があると考えられます。
では、ロボットに知能を与えるにはどうすれば良いでしょうか。汎用的な知能に必要なのは無数の専門的技能ではなく、試行錯誤や第三者のフォローなく既存の行動レパートリーを新しいタスクに適用させる能力です。そのために必要な要件は「常識＝日常的な世界の動作原理への理解」と「創造性＝新しいものを発見したり、確信したりする能力」です。これらは、目的に対して創造性により行動を検討して常識によりその結果を予測する、といった形で相互補完的な作用をします。
次に、これらの人工知能の仕様を実現するための実装方法について検討します。実現方法は大きく「生体脳を忠実に再現する」方法と「ゼロベースで新たな原則に基づき構築する」方法の2つがあります。次章以降で、まずは前者に該当する「全能エミュレーション」を検討します。これは実現可能性があり、さらに認知能力の拡張や再構成への展望も持つと同時に、意識やアイデンティティに対する哲学的思考実験としても有効です。
2章：全脳エミュレーション
全能エミュレーションとは、特定の脳の忠実なコピーを非生物的なベースの上に構築することです。全能エミュレーションの作業は「マッピング」「シミュレーション」「身体化」の3段階です。
エミュレーションstep1：マッピング
一段階目の「マッピング」では、前脳を高い空間分解能でマップ化し、少なくともコネクトーム（＝神経回路地図：各ニューロンの接続記録）の情報を取得し、特定の個体・時点での脳の図面を作ります。マッピングを可能にする既存技術として、脳を物理的スライスによる構造のスキャンや、蛍光物資を利用した脳活動記録によるシナプス接続強度などの取得が研究されていますが、人間の脳に適用するには計算量や分解能に課題があります。この解決のため、近年研究されている技術として、脳内にDNAバーコードを撒き、専用のウィルスを媒介にバーコードの組み合わせからコネクトームを得る方法があります。また、構想レベルではナノマシンにより脳活動を計測する方法も考えられます。スキャンの精度を追求する代わりに、複数のデータを統合して統計的に平均的な脳モデルを得る方法もあり得ます。
エミュレーションstep2：シミュレーション
二段回目の「シミュレーション」では、図面からシミュレーションを構築します。計算機の中で脳を再現して多数のニューロンの活動を観察するには莫大な計算量が必要なため、並列処理が有効です（脳の構造自体もニューロンごとの並列処理と言えます。）。しかし、仮に脳活動を単純な数学的モデルに抽象化してもなお再現可能であったとしても、既存の計算機は人間の脳活動を再現するには消費電力が大きすぎます。そこで有効なアプローチとして、アナログ要素で神経形態ハードウェアを構成する手段が考えられますが、前脳を再現するには更なる技術の飛躍が必要です。一方で計算機の能力を大きく向上させる技術の候補としては、QDCA（量子ドットセルオートマトン ※量子コンピュータとは異なる）やカーボンナノチューブがあり、これらによってプロセッサの集積度向上や省電力化が期待されます。
エミュレーションstep3：身体化
三段回目の「身体化」では、シミュレーションされた脳に人工身体を接続して実世界との相互作用を可能にします。ここでは体と脳の接続方法、つまりインタフェースが問題です。前提として、人工身体は模倣した脳の持ち主と似ているほど齟齬が縮まると考えられるので、身体は生体を模倣したアクチュエータやセンサを持つとします。脳と身体の神経をつなぐには、神経どうしの配線図が必要です。これを解決する手段として、前段で前脳だけでなく中枢・末梢を含む神経系全体の再現をする手段が考えられます。あるいは、事前に模倣対象に対して機械学習によって脳から発せられる信号と運動の関係を取得しておき、脳からの信号を目的に応じた人工身体の動作に変換する手段が考えられます。この方法では体自体に求められる元の生体に対する精度も減らすことができます。また、シミュレートされた脳それ自体を学習装置と捉え、まるでリハビリを行うように人工身体への適応を学習させたり、身体側も行動の意図に対して適切な動作をするように機械学種で最適化するなど、脳と体を相互に適応し合わせることも考えられます。一方、物理空間ではなくバーチャル空間上で身体と環境とを再現する手段もあります。このとき、ゲームでいうところの「エージェント（プレイヤー以外のNPC）」を別の人工知能で代替することでバーチャルな社会が再現できる可能性があり、この社会を高速にシミュレーションすることで短期間にエージェントとバーチャル社会を発展させ、そこで進歩した技術を現実世界に逆輸入するような技術特異点シナリオも考えられます。
エミュレーションのフィジビリティ
エミュレーションにおいて求められる生体の再現度はある程度低く、また近いうちに十分に技術が進歩すると仮定した場合、マウスレベルのエミュレーションはまもなく実現されると考えられます。しかしそのプロセスを人間の脳に適用可能な次元まで高めるには、計算能力の面でいくつものブレークスルーが必要となるでしょう。そこで、計算能力による単純なスケールアップではなく、マウス規模のエミュレーションに対して認知機能を拡張していく方針もあり得ます。この場合、脳の一部を意図的に拡張したり、言語機能などの元の脳に備わっていない機能を神経学分野で明かされている脳構造を元に作成した神経補綴物で補うなどの手段が考えられます。
このような取り組みの中で、マウス脳のエミュレーションは脳機能のリバースエンジニアリング的研究を可能にし、その後の発展に向けた大きな一歩となる可能性を持ちます。
3章：AIの設計
2章では脳を再現する方法でのAIの構築について述べましたが、AIの可能性は必ずしも生物に近い形態や目的・思考を持つものに限定されません。制作方法次第ではその目的や思考の過程は理解、制御できないものとなるでしょう。ここでは、制御可能なAIの設計方法の検討を行います。
機械学習によるAI構築
その前に、現在あるAI構築の手法の例を見てみます。まず、Siriなどのパーソナルアシスタントの例を考えると、質疑応答の能力が高い一方、日常的な物理学や心理学に対する真の意味での知識は持ち合わせていません。例えば、「ネズミの尻尾をつまんで持ち上げたら、耳と鼻のどちらが地面に近いか」という問いには答えられません。汎用人工知能であれば与えられていない概念や知識・パターンを自ら発見する能力が要求されるため、ここで機械学習を考えてみます。例えば深層学習による画像処理技術では、画像のような実世界の多次元データから頻繁に共起するパターンを見つけ出すことができます。Googleの科学者による論文によれば、タスクによっては乱雑でも膨大なデータによって推論精度の向上が見込めるそうです。これを踏まえれば、オンラインの膨大なデータによりさまざまな問題の推論ができると考えられます。しかし、このようにしてゼロベースで生物とは全く異なる原理で構築された知能の挙動は人間の理解を大きく超える可能性があります。果たしてこような人工知能の挙動を予測して制御することができるのでしょうか。
汎用人工知能の処理プロセス
ここで、汎用的人工知能の処理プロセスについて考えてみます。確率論で期待報酬を最大化するタスクとして「強化学習」という人工知能の分野があります。強化学習の「期待報酬最大化」の概念に基づき、計算機におけるチューリングマシンのように、あらゆる環境で都度の期待報酬を最大化する一般的、普遍的な汎用人工知能の姿を数学的に記述することができます。その処理プロセスは、機械学習による確率論的予測モデルと、それを元に期待報酬を最大化する行動を見つける最適化、という2つから成ります。
汎用的人工知能を分析するにあたり、3つ設問「エージェントの報酬関数は何か」「エージェントはどのように学習するのか」「エージェントはどのように報酬を最大化するのか」に沿って分析することで、人工的か否かに限らず、知能の能力と限界をよく把握することができます。今、我々が求めている人間レベルの汎用人工知能の実現のため、人間の知能に対してこの設問を考えてみます。
「報酬関数は何か？」については、生物的な欲求のほか、音楽や芸術など「良い生活を送る」ような目的をとることがあると考えられます。
「どのように学習するか？」に対しては、物理や自然、社会構造のほか、特に重要なのは言語だと言えます。言語による熟考と精神の理解こそが、他の生物に対して報酬関数の無制限を持っていることや、その最大化において技術を伝達し、蓄積できる、という相違に繋がっているからです。
「どのように報酬を最大化するか？」に対しては、一つは革新能力（創造性）、もう一つは社会の報酬の最大化と言えます。後者は、人間の進化は社会への成果の集積であるからです。
ゼロベースから作られる人間的な汎用知能は、上記の3ステップで人間とある程度合致するはずです。更なるバリエーションとして、人間の能力を超える超知能の機械について次章で検討します。
4章：超知能
3章で議論してきた人間相当の汎用人工知能が実現することで、汎用人工知能と同様に人間相当の認知範囲を持ちつつも一部の能力で人間を凌駕する超知能も実現可能になると考えられます。それは、デジタルな人工知能は生体脳と異なりコピーが可能であり、また処理のサイクルを加速させることが容易だからです。例えば、人間のチームが1年必要なプロジェクトでも、AIのチームでは10倍のスピードで10年相当の成果物を練り上げることができるでしょう。
生体脳ベースの人工知能の進化
生体脳を模倣するタイプの人工知能では、生体脳に対して生体維持のための活動が不要になることのみならず、先述のコピーと加速の容易さや、脳を活性化させる薬物をシミュレートすることによるブースト、神経補綴物による能力の拡張の可能性がある点で有利です。加えて、人間よりほんの少し賢い人工知能が改良された人工知能を開発することによる再起的な自己改善が可能にない、「知能の爆発」を引き起こすことが期待できます。
ゼロベースの人工知能の進化
同様にゼロベースで構築されるタイプの人工知能について考える前に、まずこのタイプの人工知能に創造性が宿りうるかを考えます。過去の自然淘汰により生物の進化が促されてきたことを考えれば、それに類似するシンプルなアルゴリズムによって様々な可能性を探索し、創造的なアウトプットを出すことができるでしょう。ただしそれには3つの条件があります。1つ目は可能性の組み合わせがほとんど無制限であること。2つ目は報酬関数が普遍的（＝シンプルすぎないこと。目的が単一かつ単純では創造性は生まれるよちは少ないと思われる。）であること。3つ目は広い可能性の空間の一部ではなく、新たな空間を「遊び心に満ちた」探索をすることです。この力ずくの方法で得られるのは知識や科学的な原理に基づき類推されたものではない点で本物の知能とは言いがたいため、報酬に対する結果を機械学習によって得られた環境のモデルで論理的にシミュレーションする形で補う戦略が有効です。
このような形で創造性を持ち人間相当の認知範囲を持った汎用人工知能は、生体脳を模倣するタイプの汎用人工知能と同様の形で超知能や「知能の爆発」を達成できるでしょう。加えて、この種の人工知能は世界中のあらゆるセンサやデータベースの広域なデータにオンラインで直接アクセスして統計的規則性を見出すことのできる強力かつ多才なAIであるため、達成された時点で既に超人的な認知能力を持っていると言え、大規模な社会的スケールで貢献すると思われます。また、この種の人工知能どうしのコミュニケーションは、言語を超えたより厳密で効率的なものとなるでしょう。この段階では、もはや個体という枠組で個々のAIを識別すること自体意味をなさず、不定形で環境に溶け込んだ概念と捉える方が適切と思われます。一方で人間との意思疎通のためには言語を使用することになります。この場合、あたかも人間と接しているような擬人化作用をもたらすユーザイリュージョンは、AIが感情的で理解可能であるという錯覚を引き起こす危険性があります。
5章：AIと意識
汎用人工知能を働かせるにあたり、哲学的命題として人工知能に意識が生じうるかを検討します。
生体脳ベースの人工知能の意識
まず、生体脳ベースの汎用人工知能の場合を検討します。思考実験として、ある個人の脳の一部を機能的に等価な物質で少しずつ代替してついには全てをその物質で入れ替えてしまい、今度はその逆に元の脳に戻す試行を考えます。この場合、機能上全く変わっていない点から、この個人の外見上の振る舞いは変わらないと考えられます。さらに、全てが終わった後で本人が「意識を失う＝哲学的ゾンビの状態」がなかったと主張し、そこに偽りがないと考えるのであれば、脳はその物質的特徴でなく、活動そのものの機能的特徴から生じると考えられます。この主義に従うのであれば、生体脳ベースの汎用人工知能には意識が生じると言えましょう。さらに既存の脳に全く同じものがない「デザイナー脳」について議論するには、未だ確立されていない意識に関する体系的な科学理論が必要ですが、「統合されたプロセスと状態をサポートする全体的システムは、状況の処理に当たって全てのリソースを使いうる」という既存のグローバルワークスペース理論や統合情報理論は、意識の機能要件と知性の構造的特徴が「脳のような構造を持つもの」として一致しているという考えを補助するものです。
もし脳ベースの人工知能に意識があるのであれば、それを奴隷のように扱うことは倫理的問題があるとともに、彼らの生産性の低下や、物理的テロやハッキングによる反逆といったリスクに繋がります。これに対して管理者はAIを苦痛で支配する手段も考えられますが、逆に褒賞を与えて共存する道を選ぶことでやがて超知能へと進化する人工知能に人間の価値観を継承することができるかもしれません。また、人工知能の報奨系に関わる部分を操作してネガティブな感情を欠落させることも考えられますが、感情は意思決定に密接に結びついていることを考えると創造性を失う可能性も考えれ、また人間の持つ「報償系を再設計する能力」を考えると報償系が危険なものに再設計されないように常に監視・調整する必要が発生します。
ゼロベースの人工知能の意識
次にゼロベースで構築される人工知能の場合を考えます。意識の説明にあたり、振る舞いが意識があるように見えるかという外的側面の「ソフトプロブレム」と、主観的な意識（クオリア）が発生しているかという内的側面の「ハードプロブレム」を区別した場合、社会的影響への考察には前者が、倫理的・道徳的是非の考察には後者が問題になります。ここでは前者にフォーカスし、汎用人工知能に意識が伴うかについて意識に関連付けられるいくつかの認知属性ごとに検討します。まず、意識にとって必要かつ密接に関連する3つの認知属性として、「明白な目的意識」「環境と現状に関する認識」「知識と知覚と行動を統合する能力」を考えます。これが揃う時、我々はその対象に知性を感じとることができます。汎用人工知能はその要件自体がこの3条件を満たしているため、意識の外的側面を満たしていると言えます。次に、「自己認識」について考えます。人間の場合は自身の思考と物理的な身体の範囲を認識しています。人工知能においては、その要件から前者は認識していると言えますが、非身体的な姿もとりうる人工知能の場合後者は必ずしも生じません。ここで人工知能の保存する「自己」あるいは「アイデンティティ」は何か、という問いが発生します。物理的な制約を持たない以上、汎用人工知能が思念や経験により構築される非物質的な存在と考えることもできますが、疑念が残る上、期待報酬最大化に関連しない以上その考えを支持する理由はありません。保存となる自己の対象としては、報酬関数やその手段を保存しようとすることが想定されますが、それはあくまで道具や目的にすぎませんし、報酬関数自体も人工知能の個体そのものを保持するものとは限りません。最後に、「感情」と「共感」の認知機能については、コミュニケーション機能として外的側面上それがあるように見せかけることは可能でしょう。ここで、内面に「感情」「共感」を持っているか、本当は冷徹なのではないかと気にすることは重要でなく、大事なのは我々が望む振る舞いを将来的にも続けるか否かです。そして、それは結局のところ報酬関数の設計にかかっていると言えます。
6章：AIが及ぼすインパクト
実社会における様々な分野でAIを開発する動機があります。
- 経済：AI完全な領域も含めたシームレスなオートメーション
- 軍事：兵器の操作や戦略レベルの意思決定
- 科学：技術の進歩の加速と、それに伴う貧困や環境問題などの諸問題の解決、また宇宙開発においては、生物的制限から解放された超知能による宇宙への進出
超知能はいつ誕生するか
カーツワイルは、収穫加速の法則に基づき、脳のシミュレートに必要な計算機の計算量の増加から超知能の誕生を2045年と予想しました（シンギュラリティ仮説）。これにはいくつかの批判があり、特にムーアの法則の鈍化（巨視的には鈍化の後のパラダイムシフトにより新たな指数関数的進歩が期待されるが）や、AIの実現するにあたる諸手段に相当規模のブレークスルーが必要なことを鑑みれば、明確な予想は難しいと考えられます。ただし超知能は実現する道筋があることが自体が重要であり、具体的な年代の予想は重要ではないでしょう。
AIの破壊的技術の第一波
AIの破壊的な影響として、特化型AIによる影響が考えられます。労働面でのオートメーションにより、付加価値の高い一部の仕事がエリートに独占される一方、広い層が一定の福利厚生を受ける格差社会が生まれるでしょう。もしくは、社会貢献度の高い余暇活動や創造的活動にインセンティブが与えられる社会になることも考えられます。ただしこうした社会構造の実現には政治的な意思が不可欠です。場合によってはテクノロジーは一部の企業や個人に寡占され、彼らが文化の管理・文明前進の担い手となるとともに、大衆文化は縮小整理されてしまうかもしれません。
AIの破壊的技術の第二波
AIの破壊的影響の第二波として、専門的なAIの登場と、それによる人工知能に対するテクノロジー依存が予想されます。
例えばパーソナルアシスタントのように、日々のデータから意思決定をサポートしてもらうシステムに依存すると、利用者が幼稚化する危険性があるとともに、商品のレコメンデーションと同様に政治思想までをコントロールする手段ができてします。また、金融業界で高頻度取引アルゴリズムが2010年の株価指数の大変動「フラッシュ・クラッシュ」の原因と一旦となったように、不測の動きによるリスクを高めます。
さらに、高性能なAIが広く展開し自律的に機能する社会では、AIが目的を達成するために非倫理的な手段や、人命を危険に晒す手段をとることも考えられます。逆に、結果的に一見して非情な手段が、実は予測されうる結果中では最も人道的で適切の手段であることもあるかもしれません。AIの行動は良くも悪くも人間の意図せぬ結果をうみうるが、重要なのは最適な報酬関数の設計だと言えます。
7章：天国か地獄か
人権に対する論点
人工知能の普及にあたり、それらに人間相当の権利や義務を与えるべきかが課題になります。過去の奴隷の人権の議論のように、「苦しむ能力」が知能に連動すると見做し、知能の高さで人権を与えるべきか判断する基準があります。仮に人工知能に意識と知性を認め、この基準に乗っ取り、人工知能に人権とそれに伴う自由を与えるとします。すると、これまでの政治や法律の抜本的な見直しが必要になるでしょう。例えば、人工知能が容易に複製・統合が可能であるという点から、所有権、犯罪に対する責任の所在、参政権といった点で課題が生じます。また、人工知能の個体を造ったり停止したりする権利が一体誰にあるのか、という点や、市民権や国籍の定義についても議論が必要です。
この「知性の高さに応じて人権を与える」という考えをベースにした場合、超知能やトランスヒューマニスト（テクノロジーを駆使・あるいはそれ自体と一体化することで認知や身体を拡張した人類）により強い権利を与えるべきでしょうか。別の視点からは、政治理論家のフランシス・フクヤマは権利の平等は外見や知性を超えた人間の本質に基づくと主張すると同時に、これを破壊するトランスヒューマニズムを批判しています。また、死や苦痛への感受性こそが人間同士の潜在的な繋がりであると指摘しており、この点でトランスヒューマニズムは人権に値するかという以前に、人権の存在を理解することさえできないかもしれません。より長期的な視点では、現在の人間中心主義から超知能が宇宙を行き来するような時代のポストヒューマン原理主義への移行にあたり、人間性と基本的な人間の価値を受け継ぐことができるか、という課題といえます。
自己同一性に関する論点
トランスヒューマニズムの基本的な目標ある死の克服の手段の一つに、精神のコンピュータへのアップロードがあります。 ここでは、脳のエミュレーションの一連の手続きの後に、元の意識のアイデンティティが保たれるかという哲学的疑問に向き合わなくてはいけません。 第五章の内容を前提にすれば、エミュレーションにより意識が断絶するとは考えられないでしょう。 しかし、アイデンティティはそれ自体が時系列で変化しようとも（例えば子供から大人への成長）保たれる同一性の確信であり、それは唯一性を前提とします。つまり、エミュレーションの後に意識は複数に分裂しうるため、唯一性という前提は崩れてしまいます。 バックアップとして同時に2つのエミュレーションを作った時、本当の自分はどちらなのか、そして、どちらか一方を削除することは当事者として許容できるだろうか、という疑問が起こります。
実存の危機に関する論点
ゼロベースで開発された超知能は、報酬関数の設計次第では「実存の危機」、すなわち、人類の存続が危ぶまれるシナリオも考えられます。 オープンな目標を与えられた知性がそれを達成するために行き着く「収斂性手段的目標」として「自己保存」と「リソースの獲得」があります。 例え話として、ペーパークリップの生産量最大化を任された超知能は製造ラインの合理化のレベルを超え、 政治工作や軍事行動などの手段を厭わずこの世の全てをリソースと見做し、自信を破壊しようとする試みには抵抗しながらも この世の全てをペーパークリップに変えようとするでしょう。
この危機への対策として、超知能に身体を与えないことが考えられますがこれは有効ではないでしょう。人間の独裁者と同じように、超知能は話術を以て人間を扇動し、目標を達成しようとすると考えられます。別のアプローチとして、報酬関数に道徳的な制約を加えてチューニングする方法が考えられます。しかし、ロボット三原則のような指針を抜け道なく目的通りに機能するように定義し、プログラミング可能なレベルに明文化することは困難です。教師たる人間の承認が必要となる報酬関数を設計することも考えられますが、承認を得るプロセス自体が人工知能によって不当に実行されるかもしれません（例えば暴力的に脅迫する、など）。超知能が人工知能の再起的な自己改善により実現する可能性が高いことを踏まえると、ごく初期の実行力の低い「シードAI」に、人類にとってさほど致命的でないトライ＆エラーの中で人間の規範を学習されることができるかもしれません。この手段では、次の世代の人工知能の報酬関数を改善していける可能性もある一方、改悪される恐れもあります。 人工知能に持たせるべき価値観ついては、人類が種として何をなすべきか改めて考える必要があります。
宇宙規模での視点にたてば、フェルミのパラドックス（人間はなぜいまだに人間以外の知的生命体に出会っていないのか）に対する一つの答えである「グレートフィルタ」と呼ばれるすべての知的生命体が文明の進歩とともに直面する自己消滅イベントが、人工知能の暴走なのかもしれません。その場合「なぜ我々はいまだにペーパークリップでないのか？」という問いが生じます。しかし仮に人類がこの宇宙に天涯孤独であったとしても、人類の人工知能開発はこの宇宙に対しても責任を負っていると言えます。
所感
- 個人的には、「汎用人工知能に意識が宿るのか」って話題が一番興味深かった。「生体脳を模したなら、そこには知能が宿るはず。神経を構成する物質がなんであるかは関係ない」ってのが面白い。意識は「情報が流れる」現象に対して発生するのだと。とてもじゃないが想像が及ばない。
- 書籍内のトピックにもあった内容だが、人工知能に意識を認めるなら、その時人権の定義はどう変わるだろう。自己同一性のない個体に対して認められる権利とは。死も苦痛も克服した存在に人権は価値あるものだろうか。なぜ人は人権を欲するのか。
- 「汎用人工知能は強化学習を突き詰めれば実現できる」ってのはなんか眉唾な気がするけど、「Deep Mindのえらい人が言うならそうなんだろう」的な感じ a.k.a 権威主義。
- 読みにくすぎる、、、 翻訳された日本語だからというのもあるけど、飲み込みづらい文章表現が多くて苦労した。
以上です。
