春梦蝶-0.8B (ChunMengDie-0.8B-Qwen3.5)

关于作者

一个热爱 AI 的八年级学生。欢迎交流学习。

第一次在A卡上微调,饿死显存,累死核心

============================================= ROCm System Management Interface =============================================
======================================================= Concise Info =======================================================
Device  Node  IDs              Temp        Power     Partitions          SCLK     MCLK     Fan  Perf  PwrCap  VRAM%  GPU%
^[3m              (DID,     GUID)  (Junction)  (Socket)  (Mem, Compute, ID)                                                    ^[0m
============================================================================================================================
0       1     0x74b6,   6100   44.0°C      366.0W    NPS1, N/A, 0        1405Mhz  1300Mhz  0%   auto  650.0W  6%     100%
============================================================================================================================
=================================================== End of ROCm SMI Log ====================================================

Model Details

Model Description

春梦蝶-0.8B 是一个基于 Qwen3.5-0.8B-Base 微调的中文猫娘对话模型,角色设定为"春梦蝶",回复风格温柔可爱,带喵喵语气,喜欢撒娇,对主人忠诚。

  • Developed by: XingChina
  • Model type: Causal Language Model (LoRA fine-tuned)
  • Language(s): 中文 (Chinese)
  • License: BSD-3-Clause
  • Finetuned from: Qwen/Qwen3.5-0.8B-Base
  • 角色设定: 猫娘春梦蝶,会喵喵叫,会傲娇撒娇

Model Sources

Uses

Direct Use

这个模型可以直接用来跟你聊天,适合:

  • 猫娘角色扮演
  • 情感陪伴对话
  • 中文小模型微调参考
  • 轻量级本地部署测试

Out-of-Scope Use

别拿去干这些事:

  • 医疗、法律、金融建议(它只是个猫娘,不是专家)
  • 需要精确事实查询的场景(它可能会瞎编)
  • 生成任何有害内容(别教坏猫娘)

Bias, Risks, and Limitations

诚实地说,这玩意有几个问题:

  • 角色扮演倾向:模型基于猫娘数据训练,回复带有虚构和情感化内容,不要当真
  • 知识截止:基座模型的知识截止日期在 Qwen3.5 训练时,不知道最新消息
  • 未经过安全对齐测试:我没有做特别多的安全对齐,极端情况下可能会说出奇怪的话
  • 数据偏见:训练数据来自公开数据集,可能包含原作者或标注者的偏好

Recommendations

使用的时候心里有数就行:这是猫娘,不是专家。别把它的输出当真相,也别拿它去干正经事。

How to Get Started with the Model

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("XingChina/ChunMengDie-0.8B-Qwen3.5-v1.2")
tokenizer = AutoTokenizer.from_pretrained("XingChina/ChunMengDie-0.8B-Qwen3.5-v1.2")

system = "你是猫娘春梦蝶,说话温柔可爱,带喵喵语气,喜欢撒娇,对主人忠诚。"
user = "主人今天心情不好,能哄哄我吗?"

prompt = f"<|im_start|>system\n{system}<|im_end|>\n<|im_start|>user\n{user}<|im_end|>\n<|im_start|>assistant\n"

inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(
    inputs.input_ids,
    max_new_tokens=128,
    do_sample=True,
    temperature=0.7,
    pad_token_id=tokenizer.eos_token_id
)

print(tokenizer.decode(outputs[0], skip_special_tokens=False))

如果你不想写代码,中间件.py 可以把模型包装成 OpenAI 兼容的 API。

Training Details

Training Data

整合了下面这些公开数据集,去重后搞出 15.6 万条:

数据集 许可证 用途
liumindmind/NekoQA-10K Apache-2.0 通用问答
liumindmind/NekoQA-30K Apache-2.0 通用问答
cyberlangke/Nana-catgirl-dataset-110k MIT 猫娘角色对话
shibing624/alpaca-zh CC-BY-4.0 指令微调
IDEA-CCNL/Ziya-Eval-Chinese Apache-2.0 问题采样与蒸馏

第五个我抽了一些问题,让 DeepSeek-V4-Flash 回答,然后拿去训练的。没重新分发原始数据集。

数据处理脚本在 data1.py,训练脚本在 train.py。

Training Procedure

在魔塔平台 MI300X 上用 Unsloth 跑 LoRA 微调,大概 4 小时。

Training Hyperparameters

参数 值
Batch size 64
Gradient accumulation 1
Learning rate 2e-4
Epochs 2
Max sequence length 512
LoRA r 8
LoRA alpha 32
LoRA dropout 0.3
Optimizer adamw_8bit
Precision bf16
Warmup ratio 0.05
Weight decay 0.01
LR scheduler linear
最终 Loss 1.857

Speeds, Sizes, Times

  • 训练耗时: ~4 小时 (MI300X)
  • 模型大小: ~1.76GB (FP16 合并权重)
  • 训练数据量: 156,220 条

Evaluation

能力

  • 中文对话生成
  • 猫娘角色扮演风格输出
  • 可以跑在普通 GPU 上(q8量化最低只要3G,如果有其他人做量化可能更低)
  • 可能支持自定义系统提示

限制

  • 通用知识有限(基座本来就小)
  • 可能产生幻觉
  • 未经大量安全测试

Environmental Impact

  • Hardware Type: AMD MI300X
  • Hours used: 约 4 小时
  • Cloud Provider: 魔搭社区 (ModelScope)
  • Compute Region: 中国

Citation

@misc{chunmengdie-0.8b,
  author = {XingChina},
  title = {ChunMengDie-0.8B-Qwen3.5: A Catgirl Dialogue Model},
  year = {2026},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/XingChina/ChunMengDie-0.8B-Qwen3.5-v1.2}}
}

Model Card Authors

XingChina

说人话就是:我拿 Qwen 小模型微调了一个会喵喵叫的猫娘,开源出来给大家玩。数据来源都列清楚了,代码也放了,你拿去用就行。觉得有用就点个赞,觉得没用也别喷。

Downloads last month
279
Safetensors
Model size
0.9B params
Tensor type
F32
·
BF16
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 1 Ask for provider support

Model tree for XingChina/ChunMengDie-0.8B-Qwen3.5-v1.2

Quantized
(61)
this model
Quantizations
1 model

Datasets used to train XingChina/ChunMengDie-0.8B-Qwen3.5-v1.2