LLM 敵対的攻撃とセキュリティ機構

深層学習（DNN）の急速な普及に伴い、モデルの脆弱性を突く「敵対的攻撃（Adversarial Attacks）」の脅威が深刻化している。 本プロジェクトでは、入力データへの微細な摂動がモデルの推論結果に与える影響を分析し、 攻撃の検知およびモデルの堅牢化（Robustness）を実現する技術を確立することを目的とする。

研究の目的と脆弱性分析の概要

本フェーズでは、深層学習（DNN）モデルに対する「敵対的摂動（Adversarial Perturbation）」の影響を定量的に評価するための基盤を構築する。 具体的には、学習済みモデルに対し、FGSM（Fast Gradient Sign Method）等の勾配に基づいた攻撃手法を適用し、モデルの推論結果がどのように変化するか（誤認識率の変化）を分析する。

具体的な環境構築手順

# 仮想環境の作成と有効化
$ git clone https://github.com/kazuyasakai/sakailab-grad-proj-llmsec.git
$ cd sakailab-grad-proj-llmsec
$ ls  # Windowsの場合は dir

# GitHub から直接ダウンロードまたは最新版に更新する場合
$ git pull origin main

# 仮想環境の作成と有効化
$ python3 -m venv .venv
$ source .venv/bin/activate

# ライブラリの一括インストール
$ pip install --upgrade pip
$ pip install torch torchvision cryptography adversarial-robustness-toolbox matplotlib

# venvパッケージの導入と構築
$ sudo apt update && sudo apt install python3-venv
$ python3 -m venv .venv
$ source .venv/bin/activate

# ライブラリの一括インストール
$ pip install --upgrade pip
$ pip install torch torchvision cryptography adversarial-robustness-toolbox matplotlib

1. ログの保存（JSON形式）

実験結果は、後続の「検知器実装」の教師データとして利用するため、以下のコマンドを用いてJSON形式で構造化して保存すること。

# 実行例：イプシロンを指定して結果を記録
$ python step1_adversarial_attack.py --eps 0.1 --output result_1.json

2. 調査対象とする ε (イプシロン) の値

以下の7つの強度において攻撃を実行し、モデルの推論精度（Accuracy）がどのように遷移するかを調査せよ。

3. 達成目標と成果物

• 基盤確立： 指定されたすべてのライブラリが仮想環境内で正常にインポートできること。
• 攻撃の実証： 既存の画像分類モデル（ResNet等）に対し、ARTを用いて生成した敵対的サンプルを入力し、意図した誤分類が発生することをログ（CSVまたはJSON形式）として記録すること。
• 定量的評価： 摂動の大きさ（ε=0.0, 0.01, 0.05, 0.1, 0.15, 0.2, 0.3 の7点）の変化に伴う、モデルの推論精度の推移グラフを作成すること。このときX軸はε、Y軸はAccuracy（100% - SuccessRate）とすること。

本フェーズでは、1ヶ月目に実証した敵対的摂動（Adversarial Perturbation）を「異常」として検知する防御アルゴリズムを構築する。 未知の入力が「クリーン」か「攻撃」かを判定するバイナリ検知器（Detector）の実装が目標である。

1. 検知手法：再構成誤差（Reconstruction Error）

入力画像に対して特定の変換（平滑化、圧縮、あるいはAEによる再構成）を施し、変換前後での画素値の乖離（L2ノルム等）を算出せよ。 攻撃画像は正常画像よりも再構成時の誤差が大きくなる特性を利用し、閾値 τ による判定を行う。

2. 評価指標の定義

3. 達成目標と成果物

• 検知スクリプト： 閾値を引数として受け取り、検知率を算出する Python コード。
• ROC曲線： 摂動の大きさ（ε=0.01, 0.05, 0.1, 0.2, 0.3 の5点）と閾値（τ=0.010, 0.012, 0.014, 0.016, 0.018, 0.020 の6点） を変化させた際の「検知率 vs 誤検知率」の推移グラフ。
• 考察レポート： 検知を回避するような「より巧妙な攻撃」の可能性についての数理的考察。

本プロジェクトの最終段階として、これまでに開発した「検知ロジック」を、実際のシステム運用を想定した「認証プロトコル」へと統合する。 単なる検知で終わらせず、不正な入力を物理的に遮断し、その足跡を監査ログとして記録する堅牢なシステムを完成させよ。

1. 実装ミッション：SecureAILoginProtocol

提供されたスケルトンコードの verify_request メソッド内を完成させ、以下の「多層防御」を実現せよ。

• 検知フェーズ： 2ヶ月目の再構成誤差ロジックを用い、入力の「健全性」を診断する。
• 制御フェーズ（重要）： 攻撃と判定された場合、AIモデルの predict を実行せずに即座に拒絶（REJECT）せよ。
• 監査フェーズ： 判定結果、異常スコア、および（許可時のみ）推論結果を構造化ログとして記録せよ。

2. 感度分析と最適化（最終レポート課題）

攻撃強度 ε と検知閾値 τ の相関関係を実験により明らかにせよ。

3. 達成目標と成果物

• 認証プロトコル・プログラム： 攻撃を自動遮断し、監査ログを出力する Python コード。
• 運用シミュレーション結果： 正常/攻撃それぞれのアクセス試行に対するログの妥当性証明。
• 感度分析グラフ： ε （0.01, 0.05, 0.1, 0.2, 0.3 の5点）と τ（0.010, 0.012, 0.014, 0.016, 0.018, 0.020 の6点）の変化に伴う検知率の推移図。

本プロジェクトの最終月として、これまでの個別技術（攻撃・検知・プロトコル）を統合し、AIセキュリティの「安全性」を客観的なデータで証明する評価システムを完成させる。

1. セキュリティ・パフォーマンスマップの作成

攻撃強度 ε と検知閾値 τ の全組み合わせを自動シミュレーションする SecurityEvaluator クラスを実装し、以下の「ヒートマップ」を出力せよ。

• スイープ実験： ループ処理を用いて、複数のパラメータ条件下での検知率（Recall）を網羅的に算出する。
• データの可視化： 実験結果をヒートマップとして描画し、システムが安全に稼働できる「安全圏」を特定せよ。

2. 達成目標と成果物（プロジェクト修了要件）

• 総合評価システムの結果： パフォーマンスマップ（ヒートマップ）と、それに基づく最適パラメータの考察。
• レポート提出： LLMセキュリティの概要。プロジェクト内で実装したこと。実行結果と考察。