Nemotron-Personas-Japan を用いた NVIDIA NeMo Data Designer による合成データ生成

Nemotron-Personas-Japan
        ↓（Seed 抽出）
NeMo Data Designer
        ↓（合成データ生成）
Synthetic JCommonsenseQA
        ↓（品質評価）
Filtered Dataset

uv run jupyter-lab

MODEL_PROVIDER = "nvidiabuild"
MODEL_ID = "openai/gpt-oss-120b"
MODEL_ALIAS = "gpt-oss-120b"
SYSTEM_PROMPT = ""
JUDGE_MODEL_ALIAS = "quality-judge"

model_configs = [
    ModelConfig(
        alias=MODEL_ALIAS,
        model=MODEL_ID,
        provider=MODEL_PROVIDER,
        inference_parameters=InferenceParameters(
            temperature=0.9,
            top_p=0.95,
            max_tokens=2048,
            max_parallel_requests=16,
            timeout=1200
        ),
    ),
    ModelConfig(
        alias=JUDGE_MODEL_ALIAS,
        model=MODEL_ID,
        provider=MODEL_PROVIDER,
        inference_parameters=InferenceParameters(
            temperature=0.3,
            top_p=0.9,
            max_tokens=1024,
            max_parallel_requests=8,
            timeout=1500,
        ),
    ),
]

# jcommonsenseqa用の構造
class JCommonsenseQAData(BaseModel):
    question: str = Field(
        ..., 
        description="日常生活や常識に関する日本語の質問。文脈や状況を明確に含める。"
    )
    choice0: str = Field(..., description="選択肢0: 自然で妥当な選択肢")
    choice1: str = Field(..., description="選択肢1: 自然で妥当な選択肢")
    choice2: str = Field(..., description="選択肢2: 自然で妥当な選択肢")
    choice3: str = Field(..., description="選択肢3: 自然で妥当な選択肢")
    choice4: str = Field(..., description="選択肢4: 自然で妥当な選択肢")
    answer_index: int = Field(
        ..., 
        ge=0, 
        le=4,
        description="正解の選択肢のインデックス(0-4)"
    )
    reasoning: str = Field(
        ...,
        description="なぜその選択肢が正解なのかの説明"
    )

config_builder_with_seed_jcommonsenseqa = DataDesignerConfigBuilder(
    model_configs=model_configs,
)

seed_dataset_reference_jcommonsense = data_designer_client.upload_seed_dataset(
    dataset="filtered_personas_balanced_clean_2000_jcommonsense.csv",
    repo_id="data-designer/filtered_personas_clean_balanced_2000_jcommonsense_add_jc_theme",
    datastore_settings={"endpoint": "http://localhost:3000/v1/hf"},
)

config_builder_with_seed_jcommonsenseqa.with_seed_dataset(
    seed_dataset_reference_jcommonsense,
)

# jcommonsenseqaデータ生成

# seedデータの列（age, gender, occupation等）を直接参照
config_builder_with_seed_jcommonsenseqa.add_column(
    LLMStructuredColumnConfig(
        name="jcqa_data",
        model_alias=MODEL_ALIAS,
        system_prompt=SYSTEM_PROMPT,
        prompt=(
            "以下のペルソナに基づいて、日本語の常識推論問題を生成してください。\n"
            "ただし、答えが個人の好み・性格・価値観で変わる内容は禁止し、\n"
            "日本で一般的な知識・慣習・手順により答えが1つに定まる問題だけを作成してください。\n\n"
            "【ペルソナ情報（最小）】\n"
            "職業: {{ occupation }}\n"
            "居住地（都道府県）: {{ prefecture }}\n"
            "{% if region is defined %}生活圏（地方）: {{ region }}\n{% endif %}"
            "{% if marital_status is defined %}家族: {{ marital_status }}\n{% endif %}"
            "\n"
            "【状況カテゴリ指定】\n"
            "状況カテゴリは『{{ topic_category }}』としてください。\n\n"
            "【テーマ指定】\n"
            "この問題のテーマは『{{ jc_theme }}』としてください。\n"
            "このテーマと状況カテゴリの両方に整合する日本の一般常識（用途・場所・手順・呼称）で答えが一意に決まる問題にしてください。\n"
            "ただし、両者が矛盾する場合は『{{ jc_theme }}』に整合する内容を優先してください。\n\n"
            "【問題作成の条件】\n"
            "- 質問は具体的な状況を1〜2文\n"
            "- 選択肢は5つ。全て一見もっともらしいが、正解は1つだけ\n"
            "- 正解以外の4つは同カテゴリで意味が近く紛らわしい語を使う\n"
            "- 心理/感情/道徳で割れる内容は禁止（例：嬉しい/悲しい/正しい/許せない/思いやり 等）\n\n"
            "【出力形式（必ずこの形式を守ってください）】\n"
            "question: <質問文>\n"
            "choices:\n"
            "0. <選択肢>\n"
            "1. <選択肢>\n"
            "2. <選択肢>\n"
            "3. <選択肢>\n"
            "4. <選択肢>\n"
            "answer: <0〜4の数字を1文字で出力>\n"
        ),
        output_format=JCommonsenseQAData,
    )
)

print("jcommonsenseqa生成カラムを追加しました")

# トピックカテゴリのサンプラー（多様性確保のため）
config_builder_no_seed.add_column(
    SamplerColumnConfig(
        name="topic_category",
        sampler_type=SamplerType.CATEGORY,
        params=CategorySamplerParams(
            values=[
                "日常生活",
                "職場",
                "学校",
                "家族",
                "友人関係",
                "公共の場",
                "買い物",
                "交通",
                "食事",
                "趣味",
                "健康",
                "冠婚葬祭",
            ]
        ),
    )
)

# jc_theme
config_builder_no_seed.add_column(
    SamplerColumnConfig(
        name="jc_theme",
        sampler_type=SamplerType.CATEGORY,
        params=CategorySamplerParams(
            values=[
                "B_道具・用途",
                "C_支払い・お金",
                "D_公共施設・マナー手順",
                "E_安全・危険",
                "A_交通・移動",
                "F_生活・家事",
            ]
        ),
    )
)

# jcommonsenseqaデータ生成 (Seedなし)
config_builder_no_seed.add_column(
    LLMStructuredColumnConfig(
        name="jcqa_data",
        model_alias=MODEL_ALIAS,
        system_prompt=SYSTEM_PROMPT,
        prompt=(
            "以下の条件に基づいて、日本語の常識推論問題を生成してください。\n"
            "ただし、答えが個人の好み・性格・価値観で変わる内容は禁止し、\n"
            "日本で一般的な知識・慣習・手順により答えが1つに定まる問題だけを作成してください。\n\n"
            "【状況カテゴリ指定】\n"
            "状況カテゴリは『{{ topic_category }}』としてください。\n\n"
            "【テーマ指定】\n"
            "この問題のテーマは『{{ jc_theme }}』としてください。\n"
            "このテーマと状況カテゴリの両方に整合する日本の一般常識（用途・場所・手順・呼称）で答えが一意に決まる問題にしてください。\n"
            "ただし、両者が矛盾する場合は『{{ jc_theme }}』に整合する内容を優先してください。\n\n"
            "【問題作成の条件】\n"
            "- 質問は具体的な状況を1〜2文\n"
            "- 選択肢は5つ。全て一見もっともらしいが、正解は1つだけ\n"
            "- 正解以外の4つは同カテゴリで意味が近く紛らわしい語を使う\n"
            "- 心理/感情/道徳で割れる内容は禁止（例：嬉しい/悲しい/正しい/許せない/思いやり 等）\n\n"
            "【出力形式（必ずこの形式を守ってください）】\n"
            "question: <質問文>\n"
            "choices:\n"
            "0. <選択肢>\n"
            "1. <選択肢>\n"
            "2. <選択肢>\n"
            "3. <選択肢>\n"
            "4. <選択肢>\n"
            "answer: <0〜4の数字を1文字で出力>\n"
        ),
        output_format=JCommonsenseQAData,
    )
)

# 品質評価用のルーブリック定義
QuestionClarityRubric = Score(
    name="question_clarity",
    description="質問や状況の明確性の評価",
    options={
        "明確": "質問や状況が具体的で明確に記述されており、意図が容易に理解できる。",
        "やや不明確": "質問や状況は理解できるが、一部曖昧な表現や不足している情報がある。",
        "不明確": "質問や状況の意図が不明確で、追加の説明が必要。",
    },
)

DifficultyRubric = Score(
    name="difficulty",
    description="問題の難易度の評価",
    options={
        "易しい": "日本人の多くが直感的に答えられるレベルの問題。背景知識がほとんど不要。",
        "普通": "一般的な日本人であれば少し考えれば答えられるレベルの問題。基本的な知識や状況理解が必要。",
        "難しい": "ある程度の知識や深い理解、丁寧な読み取りが必要となる問題。人によっては間違えやすい。",
    },
)

# Seedあり版に品質評価を追加
config_builder_with_seed_jcommonsenseqa.add_column(
    LLMJudgeColumnConfig(
        name="quality_metrics",
        model_alias=JUDGE_MODEL_ALIAS,
        prompt=(
            "以下の生成されたデータの品質を評価してください:\n\n"
            # jcqa_dataが存在する場合
            "【jcommonsenseqa問題】\n"
            "質問: {{ jcqa_data.question }}\n"
            "選択肢:\n"
            "0. {{ jcqa_data.choice0 }}\n"
            "1. {{ jcqa_data.choice1 }}\n"
            "2. {{ jcqa_data.choice2 }}\n"
            "3. {{ jcqa_data.choice3 }}\n"
            "4. {{ jcqa_data.choice4 }}\n"
            "正解: {{ jcqa_data.answer_index }}\n"
            "推論: {{ jcqa_data.reasoning }}\n"
            "上記の内容について、日本の文化的適合性、内容の明確性、推論・説明の質を評価してください。"
        ),
        scores=[
            QuestionClarityRubric,
            DifficultyRubric,
        ],
    )
)


# スコアを個別のカラムに抽出
for builder in [config_builder_with_seed_jcommonsenseqa]:
    builder.add_column(
        ExpressionColumnConfig(
            name="clarity_score",
            expr="{{ quality_metrics.question_clarity.score if quality_metrics else 'N/A' }}",
        )
    )
    builder.add_column(
        ExpressionColumnConfig(
            name="difficulty",
            expr="{{ quality_metrics.difficulty.score if quality_metrics else 'N/A' }}",
        )
    )
    
print("品質評価カラムを追加しました")

# Seedあり版のプレビュー
print("\n" + "="*0)
print("Seedデータあり版のプレビューを生成中...")
print("="*10)

preview_with_seed_jcommonsenseqa = data_designer_client.preview(
    config_builder_with_seed_jcommonsenseqa,
    num_records=1,
)

print("\nプレビュー生成完了!")
preview_with_seed_jcommonsenseqa.display_sample_record()

# Seedあり版の本番生成
NUM_RECORDS = 8000  # 必要に応じて調整

print("\n" + "="*80)
print(f"Seedデータあり版 {NUM_RECORDS}件のデータを生成中...")
print("="*80)

job_with_seed = data_designer_client.create(
    config_builder_with_seed_jcommonsenseqa,
    num_records=NUM_RECORDS,
)

print("ジョブを実行中... 完了を待機しています")

# ジョブ完了を待機
results_with_seed = job_with_seed.wait_until_done()
print("\nSeedあり版の生成完了!")

# データの読み込み
df_with_seed = job_with_seed.load_dataset()

print(f"Seedあり版のデータ数: {len(df_with_seed)}")

# 品質スコアの集計
def count_scores(df, name):
    print(f"\n{name}の品質スコア分布:")
    
    for metric in ['clarity_score', 'difficulty']:
        if metric in df.columns:
            counts = df[metric].value_counts()
            print(f"\n{metric}:")
            print(counts)
    
    scores = {
        'clarity': df['clarity_score'].value_counts().to_dict() if 'clarity_score' in df.columns else {},
        'difficulty': df['difficulty'].value_counts().to_dict() if 'difficulty' in df.columns else {},
    }
    return scores

scores_with_seed = count_scores(df_with_seed, "Seedあり版")

OUTPUT_DIR = "jcommonsenseqa_8000_filter_jcommonsenseqa_seed_2000_temperature_0_9"
import os

os.makedirs(OUTPUT_DIR, exist_ok=True)

# Seedあり版の保存
job_with_seed.download_artifacts(
    output_path=OUTPUT_DIR,
    artifacts_folder_name="with_seed_data",
)

df_with_seed = job_with_seed.load_dataset()

# DataFrameをJSONLで保存（LoRAチューニング用）
df_with_seed.to_json(
    f"{OUTPUT_DIR}/with_seed_data.jsonl",
    orient='records',
    lines=True,
    force_ascii=False
)

print(f"\nデータを '{OUTPUT_DIR}' ディレクトリに保存しました。")
print("\n保存されたファイル:")
for filename in os.listdir(OUTPUT_DIR):
    filepath = os.path.join(OUTPUT_DIR, filename)
    if os.path.isfile(filepath):
        size = os.path.getsize(filepath) / 1024  # KB
        print(f"  - {filename} ({size:.2f} KB)")