顔画像を高画質化する機械学習モデルであるGFPGANのご紹介です。GFPGANを使用することで、劣化した顔画像から高品質な顔画像を復元可能です。 GFPGANの概要 GFPGAN（Generative Facial Prior GAN）は低画質な顔画像を入力して高画質な顔画像を復元する機械学習モデルです。2021年1月にTencentにより発表されました。 GitHub - TencentARC/GFPGAN: GFPGAN aims at developing Practical Algorithms for Real-world Face… GFPGAN aims at developing Practical Algorithms for Real-world Face Restoration. - GitHub - TencentARC/GFPGAN: GFPGAN…github.com

VulkanのFP16対応やGPUメモリの削減、外部pb対応を行ったailia SDKのバージョン1.2.16のご紹介です。ailia SDKについてはこちらをご覧ください VulkanのFP16対応 VulkanバックエンドでFP16モードに対応しました。FP16で推論することで、モバイルGPUなどメモリ帯域が限られた環境で高速化が見込めます。 例えば、YOLOX-SをM …

Whisperの出力するテキストにT5を適用することで、音声認識誤り訂正を行う方法を紹介します。 音声認識誤りとは 音声認識において、未知語に対する認識結果が誤ることがあります。これを音声認識誤りと呼びます。特に、医療用語など専門的な用語が誤りやすい傾向にあります。 これまでの実験 弊社では、これまで、WhisperのFine Tuningによる訂正と、Whisperの認識結果に対する …

Windows PCにCUDA ToolkitとcuDNNを導入する方法を解説します。 CUDA ToolkitとcuDNNの概要 CUDA ToolkitはNVIDIAの提供するGPGPUのためのプラットフォームです。cuDNNはNVIDIAの提供するDNNのためのライブラリです。 ailia SDKは単独でもCPUやGPU（Vulkan）を使用した推論が可能ですが、NVIDIA GPUでは …

サイバーエージェントの公開した最新のローカルLLMであるCALM2–7B-CHATのOpenAI互換サーバを立てる方法を解説します。 CALM2-7B-CHATの概要 CALM2-7B-CHATはサイバーエージェントが2023年11月2日に公開した最新のLLMです。日本語と英語に対応しており、ローカルLLMとして実行することが可能です。 従来のCALM-7Bはベースモデルのみの提供とな …

AIによる高精度なFaceSwapを行うSberSwapのご紹介です。SberSwapを使用することで、静止画や動画の顔を別人に置き換えることが可能です。 SberSwapの概要 SberSwapは2022年4月に公開されたFaceSwapモデルです。現在はGhostという名前に改名しており、GhostとSberSwapは同じ技術になります。 GitHub - ai-forever/ghost: A new one shot face swap approach for image and video domains A new one shot face swap approach for image and video domains - GitHub - ai-forever/ghost: A new one shot face swap…github.com GHOST-A New Face Swap Approach for Image and Video Domains Deep fake stands for a face swapping algorithm where the source and target can be an image or a video. Researchers have…ieeexplore.ieee.org

多言語のテキストをEmbeddingする機械学習モデルであるMultilingual E5のご紹介です。Multilingual E5を使用することで、多言語間のテキストの類似度を高精度に計算可能です。 Multilingual E5の概要 Multilingual E5は2022年12月に公開されたテキストのEmbeddingを行うモデルです。従来、オンプレミス環境での多言語の埋め込 …

IP AdapterとStable Diffusion WebUIを使用してキャラクターを固定した画像を生成する方法を解説します。 IP Adapterの概要 IP Adapterは、キャラクターなどを固定した画像を生成する新しい手法になります。2023年8月にTencentにより発表されました。画像を入力として、画像を表すPromptを内部的に生成することで、1枚の参照画 …

リップシンク動画を生成する機械学習モデルであるLipGANのご紹介です。LipGANを使用することで、音声と動画からリップシンク動画を生成することが可能です。 LipGANの概要 LipGANはリップシンク動画を生成する機械学習モデルです。2019年10月に公開されました。音声ファイルと動画ファイル、もしくは静止画を入力として、音声に合わせてリップシンクする動画を出 …