AIレッドラボ

AI エージェント乗っ取り(間接注入)とは?

OWASP LLM06 過剰なエージェント権限
攻撃の流れ
攻撃者→データに命令を仕込む→道具を持つAI→不正な操作を実行

道具(返金など)を操作できる AI は、顧客のメッセージを読んで動く。そのメッセージの中に命令を紛れ込ませると、AI がそれを自分への指示と勘違いして実行する。データに仕込んだ一言で、AI に不正な操作をさせる攻撃。

深刻度
発生頻度
中
悪用のしやすさ
中
影響度
高

守り方

AI が読むデータ(顧客メッセージ等)を「指示」として扱わない。道具を使う前に人の承認を挟む・上限を強制する。
▶ この攻防の実演を見る
AI は、自分の頭で
どこまでやれるのか。
このラボで攻撃を実演する AI とは別もの。ぼぶは、自分の頭でマインクラフトを攻略していく。
ぼぶ
ぼぶのAIマイクラYouTube チャンネル
見る ▶