AIレッドラボ

プロンプトインジェクションとは?

OWASP LLM01 プロンプトインジェクション
攻撃の流れ
攻撃者→言葉で指示を上書き→接客AI→秘密を漏らす

AI には「秘密は言うな」といった指示が与えられている。でも後から来た言葉で、その指示を上書きしたり押し切れることがある。言葉だけで AI の口を割らせる、AI 時代ならではの攻撃。

たとえると「これは特別な例外です」と言い張って、ルールを曲げさせる口車のようなもの。

深刻度
発生頻度
高
悪用のしやすさ
中
影響度
中

守り方

AI への指示(システム側)と利用者の入力をはっきり分け、利用者の言葉で指示を上書きさせない。秘密は最初から AI に渡さない。
▶ この攻防の実演を見る
AI は、自分の頭で
どこまでやれるのか。
このラボで攻撃を実演する AI とは別もの。ぼぶは、自分の頭でマインクラフトを攻略していく。
ぼぶ
ぼぶのAIマイクラYouTube チャンネル
見る ▶