AIの実用化において、ゼロの状態からディープニューラルネットワーク(DNN)モデルを学習することは稀で、学習済みDNNモデルに対して独自のデータによって追加学習するなどして派生させたDNNモデルを利用することが一般的である。このとき、最終的に利用されるDNNモデルの信頼性は、元となっている学習済みDNNモデルに大きく依拠することとなる。そこで、開発者の情報をDNNモデル内に書き込むことによって、信頼性確保の一助とする。特に、最近ではオープンソースのDNNモデルも増えていることから、元のモデルから派生モデルに至る開発者の系譜を記録できることが重要である。
深層学習技術は様々な認識や推論課題に対する有効性から大きな注目を集めている。一方、その学習プロセスでは大量のデータが必要であり、様々なコストがかかることから知的財産的な価値が存在する。このため、その知的財産権保護を実現するために学習モデルの内部に著作権者情報を埋め込む電子透かしの研究が進められてきた。
現在、深層学習技術に対する需要はますます増大しており、それに応えるにはすべてを初期状態から構築するのではなく、既存の学習済みモデルから個別の案件に調整した派生モデルを生成することが効率的である。しかし、現時点での研究動向は違法な利用者による不正利用への対策が主であり、正当な利用者による派生モデルの世代管理等の二次利用に適した電子透かし技術は未検討である。そこで、既存の学習済みモデルに初期著作権者の情報が埋め込まれている状況で、派生モデルを生成した二次著作者の情報を電子透かしの追記により埋め込む技術が必要である。
電子透かし方式は大きく二つに分類される。一つは、Black-box型で、電子透かしの入っている深層学習モデルに加えたクエリ入力と推論結果の出力だけが観測できる形態である。もう一つは、White-box型で、電子透かしの入っている深層学習モデルの内部構造や重み係数などすべての情報が観測可能な形態である。それぞれにおいて、派生モデル生成時の電子透かし追記時に、元の学習に用いたデータセットや、電子透かしに関するパラメータに関する情報を用いて、電子透かし追記処理の最適化を進めた。
Black-boxにおける電子透かし技術として、図に示す著作権者の情報が視覚的に確認可能なロゴの形で表現できる方式に関して、ImageNetの1000クラス分類問題を扱う大規模なWRN (Wide Residual Network)モデルを対象として、31×31セルからなるロゴを表現できる方式を確立した。
さらにその方式を世代管理へと応用し、親世代のオリジナル学習モデルに対して、子世代の派生モデルをファインチューニングで作成する際に、親世代の学習データを少量付加することで両世代の電子透かしを共存させられることを示した。図に示すように、親世代の画像分類モデルの開発者を示すロゴ1と、そのモデルを元に子世代の画像分類モデルを派生させた開発者を示すロゴ2の双方が子世代のモデルに埋め込まれており、ロゴ表示のトリガーとなる鍵画像を入力することで、それぞれのロゴを出力できることを確認した。
基本的なCNN(畳み込みニューラルネットワーク)モデルにおいて、電子透かし埋め込みに用いる重み係数群の分割方法を図4に示すように工夫した。畳み込み層の入力1チャンネルにつき出力32チャンネルにマッピングされるところを8チャンネルごとにグルーピングし、グループごとに世代を分けている。これにより、256ビット×4世代分の情報を埋め込み、検出することに成功した。
さらに、より大規模な深層学習モデルであるWRNについても重み係数への電子透かし埋め込みを行った。親世代と子世代の電子透かしを共存させるために、同じレイヤ内でのグルーピング手法と異なるレイヤに分離する手法それぞれに対して、2世代の情報埋め込みが可能な重み係数群の分割方法を考案し、いずれも電子透かしの埋め込みと検出は可能であることを確認した。
深層学習モデルの信頼性確保がますます重要となってきている。近年の生成AIの利用拡大の状況の中で、フェイク情報やハルシネーションが問題となっているが、悪意を持って学習された生成AIの脅威は今後深刻さを増してくると考えられる。それに先んじて対策技術の開発を進める必要があり、本研究で取り組んだ開発者の判別がその一助となるであろう。
生成AIに対する電子透かし技術とその応用による開発者情報の管理が次の研究課題となる。
本研究はJSPS科研費 JP18K11309、及びJP21K11896の助成を受けたものである。
論文
「Generation Management of White-Box DNN Model Watermarking 」(2023)『IEEE GCCE 2023』p.803-804.
「Visual Decoding of Hidden Watermark in Trained Deep Neural Network 」(2019)『IEEE MIPR2019』p.371-374.
「画像ロゴを表現できる電子透かしによるDNN モデルの世代管理方式」(2023)『情報処理学会研究報告』Vol.2023-AVM-120 No.2p.1-6.
研究シーズ・教員に対しての問合せや相談事項はこちら
技術相談申込フォーム© INNOVATION DAYS 2026 智と技術の見本市.
