Qwen2.5-0.5B ajustado para extração estruturada de avaliações em PT-BR

Abrir demo no Colab

Qwen2.5-0.5B-Instruct ajustado com QLoRA para transformar avaliações de clientes de e-commerce, em português, em JSON com: sentimento geral, sentimento por aspecto (entrega, produto, atendimento, preço), problema principal e se a empresa precisa agir.

Código do pipeline completo: https://github.com/ItaloSLeao/pt-review-extractor

Uso

O modelo foi treinado com um prompt de sistema fixo, definido em src/common.py do repositório. Use build_messages e parse_output de lá.

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from common import build_messages, parse_output  # do repositório

M = "aitalo/qwen2.5-0.5b-avaliacoes-ptbr"
tok = AutoTokenizer.from_pretrained(M)
model = AutoModelForCausalLM.from_pretrained(M, dtype=torch.float16, device_map="auto")

prompt = tok.apply_chat_template(build_messages("Chegou quebrado e ninguém me atende."), tokenize=False, add_generation_prompt=True)
enc = tok(prompt, return_tensors="pt").to(model.device)
out = model.generate(**enc, max_new_tokens=200, do_sample=False)
print(parse_output(tok.decode(out[0, enc.input_ids.shape[1]:], skip_special_tokens=True)))

Treino

  • Base: Qwen2.5-0.5B-Instruct, QLoRA 4-bit (NF4), r=16, alpha=32, todos os módulos lineares.
  • Dados: 4.942 avaliações da Olist, rotuladas por um modelo professor (Qwen2.5-7B-Instruct-AWQ) com saída validada contra o esquema JSON.
  • 2 épocas, lote efetivo 16, taxa de aprendizado 2e-4 (cosine, 30 passos de aquecimento), fp16, em uma GPU T4.

Resultados

Conjunto de teste de 297 avaliações, com rótulos revisados pelo autor (ver o card do dataset). Saídas que não são JSON válido contam como erro em todas as métricas.

Métrica Base 0.5B Ajustado
JSON válido 0,185 0,956
F1 sentimento (macro) 0,212 0,760
F1 entrega 0,104 0,893
F1 produto 0,189 0,844
F1 atendimento 0,035 0,733
F1 preço 0,046 0,757
F1 requer ação 0,219 0,823

Limitações

  • Domínio: avaliações de e-commerce da Olist, não de delivery de comida nem de outros setores.
  • Os rótulos de treino vêm de um modelo professor e carregam os erros dele; só o conjunto de teste foi revisado.
  • O teste tem 297 exemplos, com poucos casos neutro (~23) e poucos exemplos de atendimento e preço, então o F1 nessas classes é instável. Os resultados são de uma única rodada de treino.
  • 4,4% das saídas no teste não foram JSON válido.
  • Os dados de treino vêm de uma base sob CC BY-NC-SA 4.0 (uso não comercial). O modelo foi feito para estudo e portfólio; para uso comercial, verifique as condições. O autor não é advogado.
Downloads last month
59
Safetensors
Model size
0.5B params
Tensor type
F16
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for aitalo/qwen2.5-0.5b-avaliacoes-ptbr

Finetuned
(1,195)
this model

Dataset used to train aitalo/qwen2.5-0.5b-avaliacoes-ptbr