2024年2月にリリースされた基盤モデル granite-8b-japanese は、Graniteベースの日本語対応モデルです。
IBM granite-8b-japanese モデル・カード
granite-8b-japanese の特長の一つは、日本語にも対応したトークナイザーが搭載されている点です。このトークナイザーの主な利点は、日本語テキストのトークン数を削減できることです。
その効果について、実際の検証結果を以下のブログにて紹介しました。＊株式会社アルファー・コミュニケーションズのブログページが開きます。
今回の検証により、granite-8b-japaneseの日本語トークナイザーはトークン数削減によって、応答時間の短縮や大量データ処理の効率向上に寄与できることが確認されました。ぜひご覧ください。