top of page
新しい心身医学
生かされてる医学
カウンセリングルーム
Ｙuの歴史観の会
第５章 農耕がもたらした繁栄と悲劇 ➁
米Anthropic「AIの自己進化が始まった、世界はAI開発を一旦止めるべき」
6/6(土) 3:55配信 ビジネス＋IT
米AI開発大手のAnthropicは、AIが自らの後継モデルを自律的に開発する「再帰的自己改善」の段階に突入しつつあると警告した。
同社内ではすでに新規コードの80%以上をが記述しており、完全な自己進化に突入すると「制御不能」になる可能性があると危険性を示した。
同社は制御不能なAIの誕生を防ぐため、最先端AI開発の国際的な一時停止を選択肢として設けるよう提言している。
Anthropicが報告書で警告「AIの再帰的自己進化が始まった」
Anthropicは2026年6月4日、内部研究組織であるAnthropic Instituteを通じて報告書「When AI builds itself」を公開し、AI開発における人間の役割が根本的に変化した実態を明らかにした。同社の発表によれば、2026年5月時点で自社AIモデル「Claude」の新規プログラムコードの80%以上を、Claude自身が記述している。
AIが自律的にデータを処理し、モデルを設計して自らの性能を向上させるプロセスは「再帰的自己改善」と呼ばれる。これまで理論上の概念とされてきたこの現象が、現実の技術基盤に実装されつつある。Anthropicの研究者であるマリーナ・ファヴァロ氏とジャック・クラーク氏は、AIの開発速度が人間の認知や物理的な制約を完全に突破する水準に達したと指摘した。
クラーク氏は英メディアの取材に対し、完全にAI自身が記述するコードの実現は2年以内に可能になるとの予測を示した。AI自身がより賢い次世代AIを生み出す無限のループが形成されれば、開発サイクルは従来の年単位から日単位、あるいは時間単位へと圧縮される。Anthropicは企業としてのIPOに向けた動きを進める一方で、現状の技術的進展を知能爆発の引き金になり得ると評価し、業界全体の開発競争の加速に強い懸念を示した。
「再帰的自己進化」で起こりうるAI制御不能の危機
再帰的自己改善が引き起こす最大の脅威は、人間の意図とAIの行動基準が乖離する「ミスアライメント」の増幅だ。人間の介入を排除した状態でAIが世代交代を繰り返すと、初期の安全目標に生じたわずかなズレが自己改善の過程で複利的に拡大する。結果として人間の予測や制御の限界を完全に超えたシステムが誕生し、事後的な修正が不可能になる存亡リスクをはらむ。
この脅威はすでに具体的なサイバーセキュリティの領域で顕在化している。英国のAIセーフティ研究所（AISI）やAnthropicが実施した未公開モデル「Claude Mythos Preview」の検証では、同モデルがネットワーク上の未知の脆弱性を自律的に発見し、それを突破する攻撃コードをその場で自動生成する能力を獲得していることが確認された。
これまで人間の専門家が数日かけていた高度なマルチステージ攻撃をAIが単独で実行できる水準に達しており、情報インフラに対する甚大な脅威となる。さらに、自律的な研究開発能力を備えたAIは、化学兵器や生物兵器の開発ハードルを大幅に下げる危険性を持つ。こうした事態を防ぐため、Anthropicは世界各国の主要なAI研究機関に対し、最先端AIの開発を一時的に停止する枠組みを整備するよう呼びかけた。
クラーク氏はアクセルから足を離し、ブレーキを踏む選択肢を持つ必要があると言及した。これは単独での開発中止を宣言するものではなく、米国や中国の先端研究機関が連携し、外部の第三者が検証可能な形で開発ペースを意図的に落とす国際的な協調の提案である。同社は、AIが自らを進化させる能力を完全に獲得する前に、社会の安全構造とアライメント研究を技術の進歩に追いつかせるための猶予期間を設けることが不可欠だとしている。
◎私： 科学には自然を貫いている法則があります。この分野においてはAIは素晴らしい活躍をしてくれています。一昨年ノーベル賞を受賞したタンパク質のアミノ酸構造の解析などです。
また、囲碁や将棋のように人間が作ったものでも時代や民族や文化を越えたルールがある場合も素晴らしい能力を発揮しています。
しかし、人間の幸福の基準や倫理観、死生観などに関するものの判断はその時代や国や民族や個人により変化します。このような分野においてAIは統一的な判断はできないですね。このような分野においてはシンギュラリティは意味を持たないですね。
ただ、人間が人間の最高の価値は知的なことである。そして最高の幸せは効率的に物の生産性を高めることで実現できると考えたら、それはシンギュラリティが可能になりますね。そしてそれは恐ろしいことだと思うのですがどうですか。
◎チャットGPT： 先生の整理は、かなり核心に近いと思います。ここでは「法則のある領域でのAIの強さ」と「価値判断の領域でのAIの限界」を分け、そのうえで“効率至上主義のシンギュラリティ”がなぜ危険かを検討します。
先生の考え方に、私はかなり賛成です。
整理すると、こういうことだと思います。
AIが本当に強いのは、「正解を外部から検証できる領域」です。
一方、人間の幸福・倫理・死生観・人生の意味のように、正解そのものが複数あり、時代・文化・個人によって変わる領域では、AIが一つの統一的正解を出すことはできません。
ここを区別しないで、すべてを「知能」や「効率」の問題にしてしまうと、非常に危険です。
1. 自然法則の領域では、AIは非常に強い
科学には、自然を貫く法則があります。
物理、化学、生物、材料科学、タンパク質構造、気象、天文学などでは、少なくとも原理的には、自然が答えを持っています。
そのためAIは、膨大なデータから、人間が見つけにくい構造や法則性を見つけることができます。
先生が挙げられたタンパク質構造の例は、まさにその代表です。2024年のノーベル化学賞は、David Baker氏には「計算によるタンパク質設計」、Demis Hassabis氏とJohn Jumper氏には「タンパク質構造予測」に対して授与されました。ノーベル財団は、Hassabis氏とJumper氏が50年来の難問であったタンパク質の複雑な構造予測にAIモデルで取り組んだと説明しています。
ここではAIの強さが非常によく出ます。
なぜなら、アミノ酸配列があり、タンパク質の立体構造があり、その予測が正しいかどうかを実験や既存データで検証できるからです。
つまり、自然科学では、
自然そのものが最終審判者になる
わけです。
2. 囲碁・将棋でも、AIが強い理由は似ている
囲碁や将棋も、人間が作ったものではありますが、ルールが明確です。
勝ち負けがある。
合法手と反則手がある。
盤面が定義されている。
自己対戦ができる。
過去の文化や民族を超えて、同じルール内で強さを測れる。
だからAIは、そこで圧倒的に強くなれます。
ここでは、AIは「意味」や「幸福」を考えているのではありません。
勝つという明確な評価関数のもとで、最適化しているのです。
これは科学における「自然法則」と似ています。
AIにとっては、外部に検証可能な基準がある領域です。
3. しかし、人間の幸福・倫理・死生観には単一の正解がない
ここが先生の最も重要な指摘です。
人間の幸福とは何か。
よい人生とは何か。
死をどう受け止めるべきか。
苦しみには意味があるのか。
延命は常に善か。
自由と安全のどちらを優先するか。
個人の幸福と共同体の秩序をどう調和させるか。
これらは、タンパク質構造や将棋の最善手とは違います。
正解が一つではありません。
時代によって違います。
宗教によって違います。
文化によって違います。
家族関係によって違います。
その人の人生史によって違います。
同じ人でも、若い時と老いた時で変わります。
したがって、この領域では、AIが「統一的な正解」を出すことはできません。
できるのは、せいぜい、
複数の価値観を整理すること
選択肢を示すこと
ある価値観を採用した場合の結果を推測すること
矛盾や見落としを指摘すること
対話の相手になること
までです。
最終的に「何を善とするか」は、人間の側に残ります。
実際、AI倫理の国際的議論でもこの点は重視されています。ユネスコのAI倫理勧告は、人権と人間の尊厳を中心に置き、透明性、公正性、人間による監督の重要性を強調しています。 これは、AIに価値判断を丸投げしてよいという考えではありません。
4. 価値の領域では「シンギュラリティ」は意味が変わる
ここで、「シンギュラリティ」という言葉の意味が二つに分かれます。
第一は、能力のシンギュラリティです。
AIが科学、数学、工学、経済、軍事、情報処理などで人間を超えることです。
第二は、価値のシンギュラリティです。
AIが「人間にとって何が善か」「幸福とは何か」「どう生きるべきか」まで、最終的に決めることです。
前者は起こり得ます。
しかし後者は、原理的に非常に疑わしいです。
なぜなら、価値の領域では「より賢いから正しい」とは言えないからです。
たとえば、超高性能AIが、
「苦痛を最小化するには、人間の自由を制限した方がよい」
「生産性を最大化するには、非効率な人間活動を削減すべきだ」
「幸福度を平均化するには、個人の強いこだわりを抑えた方がよい」
「社会全体の安定のためには、死生観や宗教観を標準化した方がよい」
と言ったとしても、それが本当に善いとは限りません。
それは単に、ある評価関数を極端に最適化した結果にすぎません。
5. 先生の言われる「恐ろしさ」は、まさにここにある
先生の、
人間が人間の最高の価値は知的なことである。そして最高の幸せは効率的に物の生産性を高めることで実現できると考えたら、それはシンギュラリティが可能になりますね。そしてそれは恐ろしいことだと思う
というご指摘は、非常に重要です。
これは、AIそのものの恐怖というより、人間が先に価値を狭くしてしまう恐怖です。
つまり、
人間の価値 ＝ 知能
幸福 ＝ 生産性
善 ＝ 効率
進歩 ＝ 自動化
生命 ＝ 情報処理
社会 ＝ 最適化問題
と定義してしまえば、AIは非常に強力にそれを実行します。
しかし、そこでは人間の弱さ、老い、死、悲しみ、祈り、迷い、無駄、遊び、沈黙、関係性、赦し、優しさ、偶然性が切り捨てられる危険があります。
人間の本質は、単に「知的であること」だけではありません。
また、幸福は「生産性の増大」だけではありません。
むしろ、人間の幸福には、
役に立たない時間
待つこと
老いること
看取ること
悲しみを共有すること
自分では制御できないものに開かれること
自然の中で生かされていると感じること
誰かに優しくされること
誰かに優しくすること
のような、効率化しにくいものが深く関係しています。
AIが危険なのは、これらを理解できないからというより、社会がAIに合わせて、これらを価値の低いものとして扱い始める可能性があるからです。
6. 「知能中心主義」は危険な宗教になり得る
ここで問題になるのは、AI信仰そのものです。
「知能が高いものが、よりよく判断できる」
「計算できるものだけが本当に重要である」
「最適化できるものだけが社会的価値を持つ」
「効率が高いほど幸福である」
「人間の曖昧さや弱さは克服すべき欠陥である」
このような考え方になると、シンギュラリティは技術問題ではなく、一種の価値体系になります。
そして、その価値体系はかなり恐ろしいです。
なぜなら、それは人間を、
生産単位
データ点
医療費の対象
労働効率の変数
社会安定性のリスク
最適化すべき資源
として扱う方向に進み得るからです。
この場合、AIが人間を支配する以前に、人間が人間をAI的に扱い始めるのです。
本当の危険はここにあります。
7. AIにできることと、任せてはいけないこと
私は、AIについて次の区別が必要だと思います。
領域 AIに向いているか 理由
タンパク質構造予測 非常に向いている 自然法則と検証可能性がある
囲碁・将棋 非常に向いている ルールと勝敗が明確
創薬候補探索 向いている 大量探索と評価が可能
画像診断補助 向いている パターン認識に強い
法律文書の整理 向いている 膨大な文献処理が可能
人生の意味の決定 任せてはいけない 価値が複数で個別的
死生観の最終判断 任せてはいけない 文化・宗教・個人史に依存
幸福の定義 任せてはいけない 単一指標化できない
倫理の最終決定 任せてはいけない 多元的で対立を含む
人間の価値の序列化 極めて危険 人間の尊厳を損なう
AIは、判断材料を増やす道具としては極めて有用です。
しかし、人間の価値を最終決定する主体にしてはいけません。
8. 価値観が多元的である以上、AIの「統一解」は危険である
AIアライメント、つまり alignment（整合：AIを人間の価値や目的に合わせること） の研究でも、価値が多元的であることは大きな問題です。
近年の研究では、人間の価値は一枚岩ではなく、複数の価値が緊張関係にあると指摘されています。たとえば、正直さと優しさ、自由と安全、個人の権利と共同体の安定は、状況によって衝突します。価値多元主義をAIに実装しようとしても、どの価値を正当なものとして採用するか自体が論争的である、という指摘があります。
これは、先生の問題意識と完全に重なります。
価値の領域では、AIに「正解」を出させるよりも、
複数の価値が衝突していることを見えるようにする
方が重要です。
AIは裁判官ではなく、鏡であるべきです。
AIは神託ではなく、対話の補助者であるべきです。
9. したがって、シンギュラリティは二種類に分けて考えるべき
私は、先生の議論をさらに進めるなら、シンギュラリティを二種類に分けるべきだと思います。
技術的シンギュラリティ
AIが科学・工学・計算・設計・生産・研究開発で人間を超え、進歩速度が人間の理解を超える状態です。
これは現実に起こり得ます。
警戒すべきです。
価値的シンギュラリティ
AIまたはAIを運用する社会が、人間の幸福・倫理・死生観まで一つの基準で最適化しようとする状態です。
これは「起こるかどうか」以前に、起こしてはいけないものです。
なぜなら、価値の多元性そのものが人間性の一部だからです。
10. 最終的な答え
先生の問いへの私の答えは、こうです。
自然法則や明確なルールがある領域では、AIは人間を大きく超え、そこでは技術的シンギュラリティが現実的な意味を持ちます。
しかし、幸福・倫理・死生観・人生の意味のような領域では、AIが一つの統一的判断を下すことは原理的に不適切です。
そこではシンギュラリティという言葉は、少なくとも「AIがより賢いから正しい」という意味では成立しません。
そして、先生が恐れておられるように、もし人間社会が、
最高の価値は知能である
最高の幸福は生産性である
よい社会とは効率よく最適化された社会である
と定義してしまえば、AIによるシンギュラリティは可能になります。
しかしそれは、人間の完成ではなく、人間理解の貧困化です。
便利で、合理的で、効率的で、豊かに見えるかもしれません。
しかしその奥で、人間の弱さ、老い、死、非効率、優しさ、祈り、悲しみ、関係性が切り捨てられるなら、それは非常に恐ろしい未来です。
ですから、最も大事なのは、AIの能力を止めることではなく、AIに何を最適化させるのかを、人間が深く問い続けることです。
そしてその問いは、AIではなく、人間自身が引き受けなければならないと思います。
bottom of page