画像補完と呼ばれるソフトがいろいろと配布されています。画像の一部にモザイクがかかっていても、その部分を推測して補っていくソフトです。今回紹介するDeepCreamPyは、二次元イラストのモザイク除去ができるということで注目が集まっています。ここではこのソフトの特徴や使い方についてまとめました。
DeepCreamPyの概要
DeepCreamPyを知らない人のためにどのようなソフトなのかについて、まずは見ていきましょう。AI技術を駆使するなど、先端技術を活用したソフトになります。
DeepCreamPyとは？
DeepCreamPyとはAIでもモザイクソフトの一種です。二次元イラストの中に含まれているモザイクを破壊してくれます。その上でAI機能を使ってモザイクの中の画像を推測して自然な形で補完まで行います。DeepCreamPyについてサンプルとして、以下の画像が紹介されていました。
左側は緑色で腕などが隠されてしまっています。しかしDeepCreamPyを利用すれば、緑色の邪魔な部分がきれいに除去されています。なおかつ隠されていた腕のところなども補完されていることがわかるでしょう。オリジナルの部分と補完された部分も自然な形でつながっています。もともとこのような画像であったかのような仕上がりです。DeepCreamPyは高精度でモザイクを破壊してくれるので、ユーザーの間で高く評価されているわけです。
応用場面というと、上のような修正ありのエロ漫画の画像に応用できるでしょう。（自分で検証したが、このような画像は効果があまり良くんないです。）
DeepCreamPyのインストール方法
DeepCreamPyはソフトなので、使用するためにはお手持ちのパソコンにインストールする必要があります。まずはどのようにインストールすればいいか、その手順についてみていきましょう。
DeepCreamPyをダウンロードする
まずはDeepCreamPyのダウンロードをします。「github」
（https://github.com/liaoxiong3x/DeepCreamPy/blob/master/INSTALLATION_BINARY.md）というところを中心としてダウンロードできるので、対象サイトにアクセスしましょう。（現時点ではこれはすでに使えなくなるのです。原因と対策を後でご覧ください。）
「Lastest release」のところにあるZIPファイルをクリックしましょう。
圧縮ファイルを解凍する
ZIPファイルの圧縮ファイルの状態でダウンロードされますので、まずは解凍してください。するとフォルダが表示されるはずです。その中の「models」フォルダの中にある「download and unzip model here!」というファイルを選択しましょう。するとインストール作業が開始されます。パソコンによってはエラーメッセージの出る可能性があります。その場合でもボタンをクリックしてかまいません。
models.h5を移動させる
ダウンロードしたらファイルを解凍させましょう。この時解凍すると「models.h5」というファイルが現れます。こちらのファイルは「models」フォルダの中に移動させます。ここまでの作業が完了すれば、DeepCreamPyのインストール作業は完了したことになります。
DeepCreamPyの使い方について紹介
DeepCreamPyがインストールできたところで、どのようにしてモザイク破壊すればいいかについてみていきましょう。モザイク除去するにあたって対象のエリアを緑色に塗る必要があります。塗り方はどのソフトを使っているかによって手順が異なるので、ソフト別に解説していきます。
自分で遮断の図形を画像に追加するのは本末転倒のような感覚ですが、モザイクのパターンは緑の線であるほうが一番の補完効果につながります。
バーやモザイクの色が緑ではないと、プログラムの動作中、つぎの問題が出やすいです。
つまり、修正やモザイクの領域が検出できないです。
対策として、時間の余裕があれば、センサーやモザイク領域を緑に加工してみるのは試す甲斐があるかもしれません。
Photoshopで緑色に塗る
Photoshopでモザイク除去しようと思っているのであれば、対象のファイルを開きます。その上でブラシツールを選択しましょう。続いてカラーパレットを開きます。「#00ff00」と設定すると緑色になります。いくつかツールが現れますが、きれいに画像補完をしたければ、鉛筆ツールがおすすめです。
ぼかしのあるツールを使ってしまうと破壊箇所があいまいになって、仕上がりの悪くなる可能性があるからです。緑色で除去したい箇所が濡れれば、「名前を付けて保存」をクリックします。この時拡張子は「.png」にすることも忘れないようにしましょう。
GIMPで緑色に塗る
GIMPという無料画像編集ソフトを使ってモザイク除去したい場所を緑色で塗る方法もあります。まず対象のファイルをソフトのトップ画面にドラッグ・アンド・ドロップしましょう。続いてカラーパレットを選択して、カラーの選定を進めましょう。緑色を作成する方法は育うかあって、RGBの「R」と「B」をゼロ・「G」を100にするアプローチがあります。
その他にはHTML表記（N)を使う方法もあります。こちらの項目に「00ff00」と入力すれば、ブラシの色が緑色になるはずです。ブラシツールは鉛筆を選択しましょう。水彩を選択すると、画像補完がうまくいかなくなる可能性があるからです。
ペイントで緑色に塗る
Windowsユーザーであれば、デフォルトで「ペイント」というアプリが入っているでしょう。こちらを使って二次元のモザイクを破壊することも可能です。ペイントを起動したら、画像補完したいファイルを開きましょう。次にカラーパレットの隣に「色の編集」というボタンをクリックしてください。いろいろな色が出てくるでしょう。似たような緑系の色がいくつか出てきますが、上から3番目で左から3番目のカラーを選択してください。
もしくは右下のところに色合いを数値で調整できる項目があるでしょう。こちらの赤：0・緑：255・青：0という設定すると、緑色に仕上げられます。
塗り方のポイント
緑色で塗る場合は、大まかに指定するのがおすすめです。細かく設定したくなるかもしれませんが、逆にうまく仕上げられない可能性があるからです。また直線的に塗りましょう。細かく塗ろうとすると複雑な形状になってしまって、かえって失敗しかねません。こんな感じで塗るといいでしょう。
decensor.exeを起動する
各ソフトで緑色に塗ったファイルが出来上がったら、実際にDeepCreamPyにてモザイク破壊していきます。まず緑色で塗ったファイルですが、「decensor_input」というフォルダの中に移動させましょう。続いて「decensor.exe」を起動させましょう。すると以下のような画面が現れます。
最初のうちは真っ黒の状態でしょう。しかししばらくすると英語のメッセージが表示されるはずです。メッセージが出てきたのは、対象のファイルのモザイク箇所の解析の始まったことを意味します。解析と同時に修正も開始されます。
上のメッセージの場合、15モザイク修正すべき箇所が検出されて、そのうち4つの修正が完了したということを意味します。すべての修正作業が完了すると、以下のメッセージが表示されるはずです。
「Decensoring complete!」というメッセージが出たら、モザイク破壊が完了したことを意味します。少しするとウィンドウも自動的に消滅するでしょう。つまりファイルを選択すれば、あとはDeepCreamPyの方で自動的に画像補完してくれるわけです。
変換にかかる時間ですがそんなに待つことはないでしょう。もしGPUの搭載されているモデルであれば、10秒かからないはずです。CPUタイプの機種だともう少しかかるかもしれません。しかし何分も待たされることはないでしょう。ちょっとした空き時間を使ってモザイク消去が可能です。
画像を確認する
モザイク除去が完了すると、加工済みのファイルは自動的に「decensor_output」にて保存されています。そこでDeepCreamPyのフォルダの「decensor_output」フォルダをクリックして、加工済みのファイルを開いてみましょう。するとモザイク部分がなくなって、きれいな画像に仕上がっているはずです。
DeepCreamPyの公開中止と別の利用方法について（2022年1月更新）
2022年1月22日の時点では、DeepCreemPyの作者はすでにGitHubでDeepCreemPyの関連コードをすべて削除しました。プロジェクトの紹介ページだけが残されています。とにかく利用不可の状態です。作者ご本人が理由を下のように述べています。
なんだか、不正利用の問題がとても深刻のようです。
一方、このプロジェクトに関してのバックアップやミラーファイルはネット上では多くあるようです。詳しく下のRedditのページをご参照ください。
ページhttps://www.reddit.com/r/AnimeResearch/comments/mg2ro4/what_happened_to_deepcreampy/
コーディングが苦手な方なら、やはり上記のGUIプログラムみたいなツールでDeepCreemPyを利用する必要があるでしょう。なので、ここでは、現在でもDeepCreemPyを簡単に利用できるGoogle Colabプロジェクトをご紹介します。
Google ColabはつまりコードをGoogleのWebサーバーにホストしてWebで動作させるサービスです。コードを実行するためには、説明に従い、ボタンをクリックすればいいです。
Colab版のDeepCreamPyの利用方法（バージョン2.2）
まずは説明から見よう
説明の日本語訳
モザイク除去したい画像ファイルを正しいフォルダに置き（場所は下記のGoogle Driveコードの近くに記載されている）、「再生」のようなボタンをクリックしてすべてのボックスを一度実行するだけです。
すでにすべてのボックスを一度実行し、再度DeepCreamPyを実行したい場合（Web会話がアクティブである前提です。タイムアウト後、つまりウェブページがフリーズしたら、仮想マシンが削除されるため、すべてを再実行する必要があります）、DeepCreamPyプログラムの再ダウンロード/再インストールを避けるために、下のセルだけを実行する必要があります。
(Googleドライブ入力→Colabをコピー)
ディセンサーの適用
（Colab -> Google Driveをコピー）
括弧内はGoogle Driveで画像ファイルを入力する場合のみ実行が必要です。（つまりColadのWebツールの内蔵フォルダーに入力してもいいです。）
コードを稼働させるバーチャル機械は、30分間使用しないか、12時間連続使用すると削除されます。
このColabはDeepCreemPy 2.0をベースにしています。
Colabのファイル機能を利用するなら、上の画像を参照しましょう。
次にColabで次の順でボタンをクリックしてDeepCreemPyを起動しましょう。非常に簡単です。
- Check your GPU （GPUを確認します）
- Install （DeepCreemPyをインストールします）
- Apply Decensor (bar) （バーの形のセンサー図形を削除します）
- Apply Decensor (mosaic) （モザイクの形のセンサー図形を削除します）
最後は上の画像にある「decensor_output」のフォルダーで処理済みの画像をご確認ください。
まとめ
イラストにモザイクがあって邪魔と感じたのであれば、DeepCreamPyを使ってみるといいでしょう。ただ単にモザイクを外すだけでなく、自然にモザイクを消した部分を保管してくれます。使い方も簡単で、モザイクを飛ばしたい箇所に緑色のブラシで塗って、DeepCreamPyのソフトに入れるだけです。
そんなに細かく塗る必要はないので、初心者でもきれいにモザイクを吹き飛ばすことができるはずです。時間もかからないので、高画質できれいなイラストに変身させてみませんか？