*上画像は当サイトにてAIで作成。
ざっくり説明
Googleが省メモリ化技術「QAT」をGemmaに使用した省メモリ版Gemma 4「Gemma 4 QAT」を公開。
最小で1Gbyte未満のメモリの使用で動作。
高性能じゃない普通のPCのローカルで動くチャットAIをGoogleが公開したってことね。
ちょっとだけQATについて言うと、トレーニングの段階でモデルを圧縮している。にゃあ。だから今までの圧縮よりも精度の劣化がない。にゃあ。
けど、いいたいことはだいたいあってる。にゃあ。
ただ、普通のPCどころかスマホでの動作を考えているみたい。にゃあ。
ちょっと調べたんだけどミドルレンジと言われる５万ぐらいのAndroidスマホはメモリ8Gbyte+ストレージ256Gbyteぐらいっぽい。にゃあ。
一番サイズの小さそうなgemma-4-E2B-it-qat-mobile-ct のモデルは約3Gbyte、使用メモリは記事から1Gbyte未満、となるとミドルレンジのスマホでもメモリ、ストレージ的にはバックグラウンドで使用するにも十分と言える。にゃあ。
ただ、VRAMのない環境でどれだけスピードが出るかはちょっと疑問。にゃあ。
もうChatGPTやGeminiに課金しないでスマホでよくなるのね。
残念ながらそうでもない。にゃあ。
パラメータ数という数字的に見ると課金制のモデルは今回の紹介のモデルよりも１００倍以上賢い。にゃあ。
この100倍は例えじゃなくて本当に１００倍以上大きい値。にゃあ。
使っていたAIと同じ回答が来ると思っているとがっかりするはず。にゃあ。
逆に何かに使えそう？？？
まずは間違えても問題のない、エンタメに使われると思う。にゃあ。
例えば、ウェルカムメッセージが毎回変わるとか、ゲームのNPCのセリフが変わるとか、簡単なゲームマスターならできるかも。にゃあ。
コメント