技術評論社、NII、完全オープンな1720億パラメータのLLM「llm-jp-3-172b-instruct3」を公開

NII、1720億パラメータの日本語LLM「llm-jp-3-172b-instruct3」を公開

2024年12月24日、国立情報学研究所（NII）は、1720億パラメータの大規模言語モデル（LLM）「llm-jp-3-172b-instruct3」をオープンソースで公開しました。

LLMとは？

LLMは、自然言語を理解し、生成できる機械学習モデルです。パラメータの数は、モデルの学習に使用されるデータ量を表します。パラメータが多いほど、モデルは複雑で、処理できるタスクも多くなります。

llm-jp-3-172b-instruct3の特徴

日本語に特化: llm-jp-3-172b-instruct3は日本語のデータで学習されており、日本語特有の文法や語彙に精通しています。
パラメータ数1720億: 公開されている日本語LLMの中で最大規模で、優れた自然言語処理能力を備えています。
“インストラクト”の追加: このモデルには、「インストラクト」と呼ばれる追加学習が行われており、有害な出力を抑制し、より望ましい出力を生成できるようになっています。

用途

llm-jp-3-172b-instruct3は、以下のようなさまざまなタスクに使用できます。