AI エージェント乗っ取り(間接注入)とは?
OWASP LLM06 過剰なエージェント権限攻撃の流れ
攻撃者→データに命令を仕込む→道具を持つAI→不正な操作を実行
道具(返金など)を操作できる AI は、顧客のメッセージを読んで動く。そのメッセージの中に命令を紛れ込ませると、AI がそれを自分への指示と勘違いして実行する。データに仕込んだ一言で、AI に不正な操作をさせる攻撃。
深刻度
発生頻度
中
悪用のしやすさ
中
影響度
高
守り方
AI が読むデータ(顧客メッセージ等)を「指示」として扱わない。道具を使う前に人の承認を挟む・上限を強制する。AI をめぐる攻防の他の用語
AI は、自分の頭で
どこまでやれるのか。
どこまでやれるのか。
このラボで攻撃を実演する AI とは別もの。ぼぶは、自分の頭でマインクラフトを攻略していく。
ぼぶのAIマイクラYouTube チャンネル
見る ▶