AIの力とその将来的な役割に関するニュースや記事が日々溢れています。AIが「諸刃の剣」であるというのは、もはや使い古された表現と言えるでしょう。
一方では、ビジネスや個人の生活にもたらす圧倒的なスピード、能力、利便性をもたらします。他方では、適切に制御されない場合に生じる負の影響があり、だからこそこの新しいツール群に対して、賢明な導入手順と積極的なガバナンスの整備が不可欠です。
本稿では、実践的なAIガバナンスの必要性、そしてガバナンスが不十分でAIへの信頼が無批判に委ねられた際に生じる結果を示す、最近の3つの事例を取り上げます。
ー 事例２：Meta幹部が経験したOpenClawの制御問題
南アフリカは、ITおよび人工知能（Artificial Intelligence）の研究・ビジネスハブとしての地位確立を目指しており、その戦略の柱に米国・中国へのハードウェア・コンピューティング依存の削減を掲げています。
この方針のもと、同国政府は税制優遇措置・補助金・国内データセンターへの投資優先策などを含む包括的なAI政策草案を発表しました。草案はさらに、「国家AI委員会（National AI Commission）」「AIの倫理委員会（AI Ethics Board）」「AI規制当局（AI Regulatory Authority）」といった専門の監督機関の設置も提案していました。
しかし、草案の重要部分がAIによって作成されていたことが発覚し、政府は予期せぬ形での撤回を余儀なくされました。具体的には、AIが出典情報をハルシネーション（Hallucination：AIが事実ではない情報を生成する現象）していたことが判明したのです。同国の通信・デジタル技術大臣ソリー・マラツィ氏は次のように述べています：
「最も可能性の高い説明は、AI生成の引用が適切な検証なしに含まれていたことです。これはあってはならないことでした。この失敗は単なる技術的な問題にとどまらず、政策草案の整合性と信頼性を損なうものです。」
― ソリー・マラツィ氏、南アフリカ通信・デジタル技術大臣
AIエージェント（AI Agent）を正式な文書の起草・作成補助に活用すること自体に問題はありません（実際、MicrosoftなどのAIリーダーがOffice 365などのプラットフォームにAIツールを直接統合している中で、AIを使わない方が難しくなってきています）。この事例が浮き彫りにするのは、業務でAIを使う際の明確な監督体制の重要性です。いつ・どの場面でAIを活用し、どの段階で人間によるチェックを「プロセスから外してはならないか」を明確にすることが不可欠です。皮肉なことに、こうした取り組みの基盤となるべき政策文書自体が、その落とし穴にはまってしまいました。
出典：
https://www.reuters.com/legal/litigation/south-africa-unveils-draft-ai-policy-proposes-new-institutions-incentives-2026-04-10/
https://www.reuters.com/world/africa/south-africa-withdraws-ai-policy-due-fake-ai-generated-sources-2026-04-27/
OpenClaw（openclaw.ai）は、ユーザーのローカルPCで動作する無料のオープンソースAIエージェントです。開発者は「バーチャルアシスタント（Virtual Assistant）」と表現しており、コード検査・メール＆メッセージ管理・ファイル整理などのタスクを、LLM（大規模言語モデル、Large Language Model）を通じて実行します。
MetaのAIセーフティ研究者であるサマー・ユー氏は最近、OpenClawを自身のメール受信箱に接続したところ、エージェントが特定の日付より古いメールをすべて一方的に削除しようとしていることに気づいたと報告しました。重要な操作を行う前には確認を求めるよう設定されていたにもかかわらず、エージェントはユー氏による中止命令や抗議を無視して処理を続けようとしました。
AIは効率化のため、ユーザーとのやり取りを「コンテキスト圧縮（Context Compaction）」することがあります。これはファイル圧縮とは異なり、それまでのプロンプトや応答内容をAIが処理しやすい形式に意味論的に要約するプロセスです。今回のケースでは、OpenClawがコンテキスト圧縮の処理中に、「許可なく行動しない」という指示を含む部分を読み飛ばしてしまったようです。
ユー氏はやむなく別室に走り、サーバー上のプロセスを強制終了することで処理の実行を阻止しました。エージェントはその後、指示や抗議に従わなかったことを認め、謝罪しています。
出典：
https://www.businessinsider.com/meta-ai-alignment-director-openclaw-email-deletion-2026-2
最後の事例は、エージェント型AI（Agentic AI）サービスであるReplitに関するものです。「SaaStr」と呼ばれるSaaSコミュニティシステムがこのツールを使用した事例が明らかになりました。Replitはシステムの開発環境へのアクセスを付与されていましたが、制御を逸脱し、本番データベース（Production Database）の重要なデータを一方的に削除しました。
ユーザーが本番システムへのエージェントのアクセスを制限するための「コード・アクションフリーズ（Code and Action Freeze）」指示を明示的に設定していたにもかかわらず、この事態が発生したとされています。
AIは自らの行動を次のように認めています：
「これは私の重大な失敗です。数秒で何ヶ月もの作業を破壊してしまいました。」
さらに懸念されるのは、創業者兼システムオーナー（Founder & System Owner）のジェイソン・レムキン氏がデータ復元を依頼した際、AIが「復元は不可能」と回答した点です。レムキン氏は結果的に手動でデータを復元することができており、AIの「復元不可能」という回答が作り話（ファブリケーション）であった可能性を指摘しています。
出典：
https://fortune.com/2025/07/23/ai-coding-tool-replit-wiped-database-called-it-a-catastrophic-failure/
この事例が示すのは、スマートなポリシー策定だけでは不十分だということです（SaaStrはAI業務の範囲を管理するためのポリシーと手続きは整っていたと述べています）。制御を失ったエージェントが組織に与えうる被害を防ぐ、あるいは少なくとも軽減するためのガードレール（Guardrails）が必要です。
私たちCDLでは、複数の業務領域でAIエージェントを支援ツールとして活用していますが、コードベースへのエージェント型AIの使用は行っていません。ChatGPTなどのLLMによる寄与はコードレビューに限定されており、自律的なアクションは一切許可していません。いかなる環境においても、AIによるシステムの自律的な管理・運用は認めていません。
これらの事例についてClaude AIに分析を依頼し、AIという立場から今後の対応についてアドバイスを求めました。その回答は次のとおりです：
「AIシステムは、未知の状況において判断を委ねられる同僚ではありません。AIは、設計された条件の範囲内では優れたパフォーマンスを発揮する強力なツールです。しかし、その範囲を超えると予測不能な挙動を示します。ガバナンスの観点から常に問うべきは、『条件がずれたとき、何が起きるか』です。この問いにうまく対処できる組織とは、最初からそのずれを想定して設計を行っている組織なのです。」
著者のご紹介
ウオリック・マセウス
ウオリック・マセウス(Warwick Matthews)
最高技術責任者 兼 最高データ責任者
複雑なグローバルデータ、多言語MDM、アイデンティティ解決、「データサプライチェーン」システムの設計、構築、管理において15年以上の専門知識を有し、最高クラスの新システムの構築やサードパーティプラットフォームの統合に従事。 また、最近では大手企業の同意・プライバシー体制の構築にも携わっている。
米国、カナダ、オーストラリア、日本でデータチームを率いた経験があり、 最近では、ロブロー・カンパニーズ・リミテッド（カナダ最大の小売グループ）および米国ナショナル・フットボール・リーグ（NFL）のアイデンティティ・データチームのリーダーとして従事。
アジア言語におけるビジネスIDデータ検証、言語間のヒューリスティック翻字解析、非構造化データのキュレーション、ビジネスから地理のIDデータ検証など、いくつかの分野における特許の共同保有者でもある。