Gemma ファミリーを拡充してデベロッパーやリサーチャー向けのモデルを追加

私たちは 2 月に Gemma を発表しました。Gemma は最先端の軽量オープンモデル ファミリーで、Gemini モデルと同じ研究技術で構築されています。すばらしいファインチューニングが行われたバリアント、Kaggle ノートブック、ツールやサービスへの組み込み、MongoDB のようなデータベースを使った RAG のレシピなど、コミュニティからは大きな反応がありました。

本日は、Gemma ファミリーへの最初のラウンドの機能追加についてお知らせすることで、ML デベロッパーの責任あるイノベーションの可能性を広げます。CodeGemma は、コード補完や生成タスク、そして指示実行用です。RecurrentGemma は、研究実験の効率を最適化したアーキテクチャです。また、コミュニティやパートナーからの貴重なフィードバックに基づく改善を行えるように、Gemma と利用規約をアップデートしたことについてもお知らせします。

最初の 2 つの Gemma バリアントの紹介

CodeGemma: デベロッパーや企業向けのコード補完、生成、チャット

Gemma モデルを基盤とした CodeGemma は、強力でありながら軽量なコーディング機能をコミュニティにもたらします。CodeGemma モデルは、コード補完とコード生成タスクを専門とする事前トレーニング済み 7B バリアント、コードチャットと指示実行用の命令チューニング済み 7B バリアント、そしてローカル コンピュータで実行できる高速コード補完用の事前トレーニング済み 2B バリアントとして利用できます。CodeGemma モデルにはいくつかの利点があります。

• インテリジェントなコードの補完と生成: ローカルで作業している場合でも、クラウド リソースを活用している場合でも、行や関数、さらにコードブロック全体を保管します。 

• 精度の向上: CodeGemma モデルは、ウェブ ドキュメント、数学、およびコードからなる 5,000 億トークンの主に英語のデータでトレーニングされています。構文的に正しいだけでなく、意味のあるコードを生成できるので、エラーとデバッグ時間を削減できます。 

• 多言語能力: 貴重なコーディング アシスタントとして、Python、JavaScript、Java などの一般的な言語に対応します。 

• 効率的なワークフロー: CodeGemma モデルを開発環境に組み込むことで、ボイラープレートを減らし、興味深い差別化をもたらす重要なコードに集中でき、スピードも上がります。

CodeGemma の詳細については、レポートまたはこちらのクイックスタート ガイドを参照。

RecurrentGemma: リサーチャー向けに大規模バッチサイズに対応した効率的で高速な推論

RecurrentGemma は、回帰型ニューラル ネットワークとローカル アテンションを活用してメモリ効率を改善しており、技術的に特徴あるモデルです。RecurrentGemma のユニークなアーキテクチャは、Gemma 2B モデルと同様のベンチマーク スコア性能を達成しながら、いくつかの利点をもたらします。

• メモリ使用量の削減: メモリ要件が低いので、ひとつの GPU や CPU など、メモリが限られているデバイスでも、長いサンプルを生成できます。 

• スループットの増加: RecurrentGemma は、メモリ使用量が少ないため、非常に大きなバッチサイズで推論を実行できます。つまり、1 秒あたりのトークン生成数が増加します（特に長いシーケンスを生成する場合）。 

• 研究革新: RecurrentGemma は、高い性能を実現する非トランスフォーマー モデルです。ディープ ラーニングの研究の進展を確認できます。 

基礎となるテクノロジーを理解したい方は、私たちの論文をご覧ください。実際に確認してみたい方は、モデルをファインチューニングする方法を示したノートブックをお試しください。

Gemma を基盤として開発し、機能を拡張

新しいモデルのバリアントは、オリジナルの Gemma モデルと同じ原則に基づいており、以下のような特徴があります。

• オープンな可用性: 誰でも利用でき、利用規約も柔軟なので、イノベーションとコラボレーションが推進されます。 

• 高性能で効率的な機能: コードに特化したドメインの専門知識を備え、超高速な補完や生成を実現できる最適な設計になっているので、オープンモデルの機能が向上します。 

• 責任ある設計: 私たちの責任ある AI へのコミットメントにより、モデルは安全で信頼性の高い結果を提供できます。 

• 多様なソフトウェアとハードウェアに対応する柔軟性:

- CodeGemma と RecurrentGemma の両方: JAX で構築され、JAX、PyTorch、Hugging Face Transformers、Gemma.cpp と互換性があります。ノートパソコン、デスクトップ、NVIDIA GPU、Google Cloud TPU などのさまざまなハードウェアで動作し、ローカルで実験することも、コスト効率よくデプロイすることもできます。  

- CodeGemma: 加えて Keras、NVIDIA NeMo、TensorRT-LLM、Optimum-NVIDIA、MediaPipe と互換性があり、Vertex AI で利用できます。 

- RecurrentGemma: 今後数週間以内に、前述のプロダクトに対応する予定です。

Gemma 1.1 アップデート

新しいモデルのバリアントのほかに、パフォーマンスの向上を含む Gemma 1.1 をリリースします。さらに、デベロッパーからのフィードバックに耳を傾け、バグを修正し、利用規約を更新して、柔軟性を高めました。

さっそく使ってみましょう

ここで説明した最初の Gemma モデルのバリアントは、本日より、Kaggle、Hugging Face、Vertex AI Model Garden をはじめとする世界中のさまざまな場所で公開されます。次のようにして使ってみることができます。

• モデルにアクセスする: ダウンロード手順については、Gemma のウェブサイト、Vertex AI Model Garden、Hugging Face、NVIDIA NIM API、または Kaggle をご覧ください。 

• 組み込みオプションを確認する: お気に入りのツールやプラットフォームにモデルを組み込むためのガイドやリソースを探します。

• 実験とイノベーション: 次のプロジェクトに Gemma モデルのバリアントを追加し、その機能を確認しましょう。 

CodeGemma と RecurrentGemma モデルをお試しいただき、Kaggle でフィードバックをお寄せください。AI を活用したコンテンツ作成とコンテンツ理解の未来を一緒に築きましょう。