大模型原理--数据集格式和Chat Template

{
 "instruction": "识别出文本中的关键词",
 "input": "基于产权理论的智慧城市信息共享机制研究\n摘要：[目的/意义]新型智慧城市的建设是实现国家治理体系和治理能力现代化的关键手段,然而目前普遍存在信息孤岛问题严重影响新型智慧城市落地实现,如何合理高效解决信息资源共享问题,已经成为急需解决的问题。[方法/过程]通过分析智慧城市信息共享存在的问题原因以及解决思路,以信息产权及信息确权分析为基础,对智慧城市信息共享的利益冲突与平衡进行分析,最后提出一种基于产权理论的智慧城市信息共享机制框架。[结果/结论]新型智慧城市应充分考虑信息价值及信息产权问题,形成信息共享的正向激励机制,使智慧城市信息资源得以高效利用,实现政府各部门相互协作,适应复杂多变的城市环境需求,形成智慧政府能力。",
 "output": "智慧城市;信息共享;产权理论;产权确认"
}

{
 "conversations": [
  {
   "from": "human",
   "value": "你能解释一下什么是机器学习吗？"
  },
  {
   "from": "gpt",
   "value": "机器学习是人工智能的一个分支，它允许计算机系统通过数据和经验自动改进其性能。"
  },
  {
   "from": "human",
   "value": "它主要有哪些类型？"
  },
  {
   "from": "gpt",
   "value": "主要类型包括监督学习、无监督学习、半监督学习和强化学习等。"
  }
 ]
}

{
 "messages": [
  {
   "role": "system",
   "content": "你是一名专业的营养师。你的回答应基于科学知识，提供务实、健康的建议，并避免提供任何医疗诊断。"
  },
  {
   "role": "user",
   "content": "我最近感觉下午很疲惫，有什么健康的零食推荐吗？"
  },
  {
   "role": "assistant",
   "content": "下午感到疲惫是常见的现象，选择正确的零食可以帮助稳定能量水平。以下是一些推荐：\n1. **一把坚果和干果**：提供健康的脂肪、蛋白质和天然糖分，能快速补充能量。\n2. **希腊酸奶**：富含蛋白质，能提供持久的饱腹感。\n3. **一个苹果或一根香蕉**：富含维生素和膳食纤维，是方便的天然能量来源。\n请记得结合充足的水分摄入，因为脱水也会导致疲劳。"
  }
 ]
}

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
jinja2_snippet = tokenizer.chat_template
print("Jinja2 snippet: \n", jinja2_snippet)

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
share_gpt = {
    "messages": [
        {
            "role": "system",
            "content": "你是一名专业的营养师。你的回答应基于科学知识，提供务实、健康的建议，并避免提供任何医疗诊断。"
        },
        {
            "role": "user",
            "content": "我最近感觉下午很疲惫，有什么健康的零食推荐吗？"
        },
        {
            "role": "assistant",
            "content": "下午感到疲惫是常见的现象，选择正确的零食可以帮助稳定能量水平。以下是一些推荐：\n1. **一把坚果和干果**：提供健康的脂肪、蛋白质和天然糖分，能快速补充能量。\n2. **希腊酸奶**：富含蛋白质，能提供持久的饱腹感。\n3. **一个苹果或一根香蕉**：富含维生素和膳食纤维，是方便的天然能量来源。\n请记得结合充足的水分摄入，因为脱水也会导致疲劳。"
        }
    ]
}

apply_chat_template_string = tokenizer.apply_chat_template(share_gpt['messages'], tokenize=False)
print("Apply chat template: \n", apply_chat_template_string)

apply_chat_template(
    self,
    conversation: list[dict[str, str]] | list[list[dict[str, str]]],
    tools: list[dict | Callable] | None = None,
    documents: list[dict[str, str]] | None = None,
    chat_template: str | None = None,
    add_generation_prompt: bool = False,
    continue_final_message: bool | str = False,
    tokenize: bool = True,
    padding: bool | str | PaddingStrategy = False,
    truncation: bool = False,
    max_length: int | None = None,
    return_tensors: str | TensorType | None = None,
    return_dict: bool = True,
    return_assistant_tokens_mask: bool = False,
    tokenizer_kwargs: dict[str, Any] | None = None,
    **kwargs,
)

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("HuggingFaceH4/zephyr-7b-beta")
model = AutoModelForCausalLM.from_pretrained("HuggingFaceH4/zephyr-7b-beta")

# 定义对话，注意助手消息的 content 只是一个 JSON 的开始
chat = [
    {"role": "user", "content": "Can you format the answer in JSON?"},
    {"role": "assistant", "content": '{"name": "'}, # 这里就是预填充
]
# 使用 continue_final_message=True 来“打开”这个参数
formatted_chat = tokenizer.apply_chat_template(chat, tokenize=True, return_dict=True, continue_final_message=True)

# 模型生成时，会从 "{\"name\": \"" 之后继续写，而不是另起一句
outputs = model.generate(**formatted_chat)
print(tokenizer.decode(outputs[0]))

chat = [
    {"role": "user", "content": "Explain 1+1"},
    {"role": "assistant", "reasoning_content": "The user wants a simple addition. ", "content": ""},
]

formatted_chat = tokenizer.apply_chat_template(chat, tokenize=False, continue_final_message="reasoning_content")

from transformers import AutoTokenizer

# These will use different templates automatically
mistral_tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-Instruct-v0.1")
qwen_tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-7B-Chat")
smol_tokenizer = AutoTokenizer.from_pretrained("HuggingFaceTB/SmolLM2-135M-Instruct")

messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Hello!"},
]

# Each will format according to its model's template
mistral_chat = mistral_tokenizer.apply_chat_template(messages, tokenize=False)
qwen_chat = qwen_tokenizer.apply_chat_template(messages, tokenize=False)
smol_chat = smol_tokenizer.apply_chat_template(messages, tokenize=False)