ChatGPTを使ってデータベースを操作しようとしたときに、データの漏洩や削除をさせるようなコードを生成できることの検証論文が発表されました。

ChatGPTでデータベースに侵入　機密情報を漏えいさせるコードを生成　英国と中国の研究者らが実証：Innovative Tech – ITmedia NEWS

[2211.15363] On the Security Vulnerabilities of Text-to-SQL Models (arxiv.org)

データベースを操作するSQLという言語がありますが、AIに頼んでSQLを出力する際に特定の書き方をすることで意図しないような操作をさせるコードを出力させられるようです。（現在は対策済み）

このような悪意のあるプロンプトは偶然発生するものではありません。

ただ、各AIにアクセスする中間のソフトウェアがプロンプトを書き換えて、情報を漏洩させるSQLを出力させてユーザーに渡してしまうということはありそうです。

そもそも悪意を持ったユーザーが攻撃のために利用するということもあり得ます。

幸いこの論文が出たときには、すでに各AIソフトは対処済みだそうです。

今回の例はSQLですが、PHPやPythonといったプログラミング言語の生成にも悪意のあるコードを埋め込む手段はありそうです。

AIを使ってプログラミングする際は気を付けないといけませんね。