Vehicle Re-ID — ResNet50 + BNNeck (VeRi-776)
Modelo de reidentificação de veículos: recebe a foto de um veículo e devolve um vetor de 2048 números (embedding). Fotos do mesmo veículo, mesmo vindas de câmeras diferentes, geram vetores próximos. Para reencontrar um veículo, compara-se o embedding da foto (query) com os de uma galeria e ordena-se por distância.
Reimplementado do zero, em PyTorch, seguindo o strong baseline de Luo et al., 2019. Código, testes e histórico de commits: github.com/sarahcalixto/vehicle-reid.
Resultados (VeRi-776, test set)
| mAP | Rank-1 | Rank-5 | Rank-10 | |
|---|---|---|---|---|
| Este modelo | 78,3% | 96,0% | 98,2% | 99,0% |
| Este modelo + re-ranking | 80,6% | 96,5% | 97,6% | 98,5% |
Re-ranking: k-reciprocal (Zhong et al., 2017), k1 = 20, k2 = 6, lambda = 0,3. É um pós-processamento da lista de busca: não muda o modelo, só a ordem da galeria.
Evolução (mesmo protocolo de teste):
| Versão | mAP | Rank-1 |
|---|---|---|
| Baseline, 60 épocas | 76,6% | 95,1% |
| Baseline, 60 épocas + re-ranking | 78,5% | 95,2% |
| + center loss, 120 épocas (este modelo) | 78,3% | 96,0% |
| + center loss, 120 épocas + re-ranking | 80,6% | 96,5% |
A center loss e as 120 épocas entraram no mesmo treino, então o ganho de +1,7 de mAP não separa o efeito de cada uma.
Protocolo do VeRi: 1.678 queries contra 11.579 imagens de galeria, 200 veículos que o modelo nunca viu no treino. Imagens do mesmo veículo na mesma câmera da query são descartadas da galeria. Inferência com feature após a BNNeck, média com a imagem espelhada (flip) e distância euclidiana sobre features normalizadas (equivalente a cosseno).
Arquitetura
imagem 256x256 -> ResNet50 (ImageNet, last stride = 1) -> GAP -> feature [2048]
|-> triplet loss (batch-hard) + center loss
v
BatchNorm1d (BNNeck)
|-> feature de inferência
v
Linear (576 IDs) -> CE com label smoothing
- Last stride = 1: o último estágio da ResNet não reduz a resolução (mapa 16x16 em vez de 8x8).
- BNNeck: a triplet usa a feature antes da BN; a cross-entropy usa a de depois. Na inferência, a de depois.
- Losses: triplet batch-hard (margem 0,3) + cross-entropy com label smoothing (eps = 0,1) + center loss (peso 0,0005; centros com SGD próprio, lr 0,5).
Treino
| Dados | VeRi-776 train: 37.778 imagens, 576 veículos, 20 câmeras |
| Batch | P x K = 16 veículos x 4 imagens |
| Augmentation | resize 256x256, flip horizontal, pad 10 + random crop, random erasing (p = 0,5) |
| Otimizador | Adam, lr 3,5e-4, weight decay 5e-4 |
| Agenda | warmup linear de 10 épocas (3,5e-5 -> 3,5e-4), x0,1 nas épocas 40 e 70, 120 épocas |
| Precisão | mixed precision (autocast float16 + GradScaler) |
| Hardware | 1x RTX 4050 notebook (6 GB), ~8,8 h |
Mesma receita do artigo (seção 3), incluindo a center loss e a agenda de 120 épocas.
Como usar
import torch
from reid.models.baseline import Baseline # do repositório no GitHub
from reid.data.transforms import build_transforms
from PIL import Image
model = Baseline(num_classes=576, pretrained=False)
model.load_state_dict(torch.load("vehicle_reid_baseline.pt", map_location="cpu"))
model.eval()
transform = build_transforms(train=False)
image = transform(Image.open("carro.jpg").convert("RGB")).unsqueeze(0)
with torch.no_grad():
embedding = torch.nn.functional.normalize(model(image), dim=1) # [1, 2048]
Limitações
- Treinado e avaliado só no VeRi-776: 20 câmeras de vigilância de uma única região, de dia. O desempenho em outras cidades, câmeras, resoluções, à noite ou com chuva não foi medido e tende a cair.
- Sensível a mudanças grandes de ângulo (frente x traseira) e de iluminação.
- Veículos do mesmo modelo e cor são a principal fonte de erro: o modelo não lê placas.
Uso e licença
- O dataset VeRi-776 é liberado apenas para pesquisa não comercial, e estes pesos herdam essa restrição.
- Reidentificação de veículos pode ser usada para rastrear pessoas. Este modelo é um projeto de estudo e não deve ser usado para vigilância de indivíduos nem em decisões que afetem pessoas sem revisão humana.
Citações
@inproceedings{luo2019bag,
title = {Bag of Tricks and A Strong Baseline for Deep Person Re-identification},
author = {Luo, Hao and Gu, Youzhi and Liao, Xingyu and Lai, Shenqi and Jiang, Wei},
booktitle = {CVPR Workshops},
year = {2019}
}
@inproceedings{wen2016discriminative,
title = {A Discriminative Feature Learning Approach for Deep Face Recognition},
author = {Wen, Yandong and Zhang, Kaipeng and Li, Zhifeng and Qiao, Yu},
booktitle = {ECCV},
year = {2016}
}
@inproceedings{zhong2017reranking,
title = {Re-ranking Person Re-identification with k-reciprocal Encoding},
author = {Zhong, Zhun and Zheng, Liang and Cao, Donglin and Li, Shaozi},
booktitle = {CVPR},
year = {2017}
}
@inproceedings{liu2016deep,
title = {A Deep Learning-Based Approach to Progressive Vehicle Re-identification for Urban Surveillance},
author = {Liu, Xinchen and Liu, Wu and Mei, Tao and Ma, Huadong},
booktitle = {ECCV},
year = {2016}
}
@inproceedings{liu2016large,
title = {Large-scale vehicle re-identification in urban surveillance videos},
author = {Liu, Xinchen and Liu, Wu and Ma, Huadong and Fu, Huiyuan},
booktitle = {ICME},
year = {2016}
}
@article{liu2018provid,
title = {PROVID: Progressive and Multimodal Vehicle Reidentification for Large-Scale Urban Surveillance},
author = {Liu, Xinchen and Liu, Wu and Mei, Tao and Ma, Huadong},
journal = {IEEE Transactions on Multimedia},
volume = {20},
number = {3},
pages = {645--658},
year = {2018}
}