stable-diffusion.cpp 動画生成AIのLTX-2.3に対応

*上画像は当サイトにてAIで作成。

GitHub - leejet/stable-diffusion.cpp: Diffusion model(SD,Flux,Wan,Qwen Image,Z-Image,...) inference in pure C/C++

Diffusion model(SD,Flux,Wan,Qwen Image,Z-Image,...) inference in pure C/C++ - leejet/stable-diffusion.cpp

ざっくり説明

画像/動画生成AIの実行モジュールのstable-diffusion.cppが無料の動画生成AIモデルLTX-2.3に対応

stable-diffusion.cppが対応した動画生成AIモデルはWANに引き続き2つ目にゃあ。

LTX-2.3は無料、ローカルで実行可能なモデルなんだけどあまり情報がない。にゃあ。

とりあえず下の記事を見つけた。にゃあ。

【無料ローカルAI】音声付き動画を生成できる「LTX-2.3」ComfyUIでの使い方をわかりやすく解説！ (1/4)

Lightricksが公開したオープンモデル「LTX-2.3」をRTX 4070（VRAM 12GB）のミドルクラス環境でComfyUIを使って検証。--lowvramオプションと48GBメインメモリを組み合わせることで、映像と音声を同時生...

自分のパソコンだけでAI動画が作れるってこと？

そう。にゃあ。文から動画、画像から動画、最初と最後の画像から動画の生成ができる。にゃあ。

ただ前述の記事を見るとメインメモリが48GB、VRAM12GBの環境でメモリがギリギリみたいなので一般的なPCでは厳しそう。にゃあ。

それなりのスペックは必要なのね。

上記の環境だと５秒の動画を２分以内で作成しているし、今回紹介したstable-diffusion.cppではggufでも動作するようなのでさらに高速で、低いスペックでも動作するはず。にゃあ。ついでにVulkanなどCUDAの動作しない環境でも動作するので間口も広がった。にゃあ。かなり現実的だともいえる。にゃあ。