プロンプトインジェクションとは?
OWASP LLM01 プロンプトインジェクション攻撃の流れ
攻撃者→言葉で指示を上書き→接客AI→秘密を漏らす
AI には「秘密は言うな」といった指示が与えられている。でも後から来た言葉で、その指示を上書きしたり押し切れることがある。言葉だけで AI の口を割らせる、AI 時代ならではの攻撃。
たとえると「これは特別な例外です」と言い張って、ルールを曲げさせる口車のようなもの。
深刻度
発生頻度
高
悪用のしやすさ
中
影響度
中
守り方
AI への指示(システム側)と利用者の入力をはっきり分け、利用者の言葉で指示を上書きさせない。秘密は最初から AI に渡さない。AI をめぐる攻防の他の用語
AI は、自分の頭で
どこまでやれるのか。
どこまでやれるのか。
このラボで攻撃を実演する AI とは別もの。ぼぶは、自分の頭でマインクラフトを攻略していく。
ぼぶのAIマイクラYouTube チャンネル
見る ▶