守る対象の三つの層: システム・モデル・エージェント
AI を組み込んだ製品で守る対象を、従来の情報システム、モデルとそのデータ、ツールを呼び出して行動するエージェントの三つの層に分け、層ごとの入口と参照する基準、守る対象の一覧の作り方を示します。
要点
AI を組み込んだ製品で守る対象は、システム・モデル・エージェントの三つの層に分けて考えます。システムの層は従来の Web やネットワーク、サーバー、クラウドの設定で、入力の扱いや認証・認可、設定の誤りが弱点になります。モデルの層は LLM と、そこに入る学習データ・プロンプト・検索した内容と、出てくる出力で、モデルが外部の内容を読むことで新しい入口が生まれます。エージェントの層はモデルがツールを呼び出して行動する部分で、与えた権限と自律性の大きさが被害の上限を決めます。三つは置き換えではなく重なるもので、最初の一歩は守る対象を一覧にして、どの層を持ち、外部の内容を読むか、何を実行できるかに印を付けることです。
このページで分かること
- 三つの層(システム・モデル・エージェント)の定義と、層ごとの守る対象・入口・参照する基準
- 部品としてのモデルと行為者としてのエージェントの境界と、層が増えることで変わる検査と設計
- 守る対象の一覧の作り方、立場ごとの最初の一歩、よくある詰まり
AI を組み込んだ製品で守る対象は、従来の情報システム(システムの層)、LLM とそのデータ(モデルの層)、モデルがツールを呼び出して行動する部分(エージェントの層)の三つの層に分けて考えます。三層の分け方は本書の整理で、各層の根拠として OWASP Top 10 for LLM Applications 2026、MITRE ATLAS、OWASP の Agentic AI – Threats and Mitigations を参照します。この節は守る側の担当者に向け、検査は所有者の許可を得た対象にだけ行う前提で書きます。攻撃を再現する手順や文例は扱いません。
三つの層の定義と守る対象
| 層 | 守る対象 | 弱点になりやすい場所 | 主に参照する基準 | 本書で扱う章 |
|---|---|---|---|---|
| システム | Web アプリケーション、API、ネットワークとサーバー、クラウドの設定、依存するソフトウェア | 入力の扱い、認証とセッション、認可、古い版と設定の誤り | IPA「安全なウェブサイトの作り方」、NIST SP 800-115 | 第 2 章 2.2、第 3 章から第 5 章 |
| モデル | LLM と推論基盤、学習と微調整のデータ、プロンプト、検索で取り込む内容、埋め込み、出力 | 外部の内容が指示として作用する入口、出力を下流へ渡す出口、データと成果物の出所 | OWASP Top 10 for LLM Applications 2026、MITRE ATLAS | 第 1 章 1.2・1.4・1.5、第 2 章 2.1、第 6 章 |
| エージェント | モデルに与えたツールと権限、永続するメモリ、他のエージェントとの受け渡し、人の承認の仕組み | 過剰な機能・権限・自律、承認の省略、メモリを介した持続的な汚染 | OWASP Agentic AI – Threats and Mitigations、OWASP LLM03:2026 | 第 1 章 1.3、第 6 章 |
システムの層
従来の情報システムの弱点です。AI を組み込んでも、入力の扱い、認証と認可、設定、依存するソフトウェアの弱点は無くならず、むしろモデルの出力が HTML や SQL、シェルに渡る経路が増えます。この層は脆弱性診断とペネトレーションテストの対象で、第 3 章以降で扱います。
モデルの層
LLM が部品として組み込まれている間のリスクです。モデルは「運用者の指示」と「処理対象のデータ」を構造的に区別しないため、モデルが読む内容(利用者の入力、Web ページ、文書、ツールの戻り値、画像や音声、検索コーパス、永続メモリ)がそのまま入口になります(OWASP LLM01:2026)。学習データや重み、重み以外の同梱物の出所も、この層の守る対象です。MITRE ATLAS は、この層を狙う攻撃者の戦術と技法を公開の知識基盤として整理しています。
エージェントの層
モデルの出力を起点にツールが呼び出され、外部のシステムに作用する部分です。OWASP の LLM Top 10 は「モデルが部品である間は本リストが担い、行為者になった時点でエージェント向けの Top 10 が担う」と境界を引いており、本書もこの線で層を分けます。守る対象は、ツールと権限の一覧、承認の仕組み、メモリ、他のエージェントとの受け渡しです。被害の上限は、この層で与えた権限と自律性で決まります。
層が増えることで変わる検査と設計
診断は「ある時点のシステム」を外から検査する取り組みで、主にシステムの層を対象にし、検査した範囲と時点の外は分かりません。モデルの層とエージェントの層の入口は従来の Web 診断の項目に含まれないため、設計の段階で「何を読むか、何ができるか、出力はどこへ行くか、どこで止められるか」を確かめます(2.1)。開発工程への組み込みは、三つの層の弱点を作り込む前に止める取り組みで、診断の回数と検出数を減らします。三つの層と、診断・設計・工程の三つの取り組みは、置き換えではなく重ねるものです。
守る対象の一覧の作り方
最初にするのは守る対象の一覧を作ることです。一覧がないと、診断の範囲も、AI 製品の設計の確認も、どこから始めるかを決められません。
- システム、サービス、API、AI を組み込んだ機能を一覧にし、それぞれが扱うデータ(個人情報、決済、業務の機密)を書きます。
- 各項目がどの層を持つかを書きます。モデルを呼ぶ機能はモデルの層を、ツールを呼び出す機能はエージェントの層を持ちます。
- 外部に公開しているもの、個人情報や決済を扱うもの、モデルが外部の内容を読むもの、モデルの出力で操作が実行されるものに印を付けます。
- 印の付いた対象から、立場に応じて次の順に進めます。
| 立場 | 最初にすること | 読む節 |
|---|---|---|
| 情報システム・セキュリティ担当 | 公開している対象の脆弱性診断を依頼し、報告書の直す順番を決める | 3.1 脆弱性診断とペネトレーションテストの違い、3.2 診断の対象と範囲の決め方、2.3 深刻度と悪用のされやすさ |
| AI 製品の責任者 | モデルが読むもの、できること、出力の行き先を一覧にし、権限と承認の設計を確かめる | 1.2 プロンプトインジェクションの仕組みと二つの経路、2.1 OWASP Top 10 for LLM Applications 2026 の十項目 |
| 開発の責任者 | 設計、実装、リリース前のどこで何を検査しているかを書き出し、抜けている工程を見つける | 第 7 章(執筆中) |
よくある詰まりと避け方
- AI を組み込んだ製品を、従来の Web 診断だけで済ませる。モデルが読むものと実行できることの一覧を別に作り、設計の段階で確かめます。
- モデルの層とエージェントの層を分けずに扱う。応答を返すだけの機能と、ツールを呼び出す機能では被害の上限が違うため、一覧で区別します。
- 診断を 1 回受けて終わりにする。大きな変更やリリースのたびに対象と範囲を見直し、再診断の条件を先に決めます。
- 許可の文書なしに検査を始める。所有者の承認、期間、連絡先、停止手順を 1 枚にまとめてから進めます(3.3)。