大海

相关实现：

• KevinMusgrave/pytorch-metric-learning
• CoinCheung/pytorch-loss

这一段时间的状态特别不好，尝试了好多种方式，但是对于算法的核心指标一直没有提升，心里很憋屈，不知道什么时候是个头。

好久没有写随笔了，这不，2022年开始了，这一次早点开始《2021年小结》，回顾一下这一年在工作、学习和生活上的发展以及一些自己对于未来的思考。

原文地址：FaceNet: A Unified Embedding for Face Recognition and Clustering

复现地址：ZJCV/facenet

之前因为服务器性能原因，对ImageNet数据集进行训练时出现数据加载瓶颈，当时搜索了多种方式，尝试对数据pipeline进行优化，从而提高数据加载能力。详情参见数据pipeline优化

这一次遇到了新的问题，就是在千万级别数据训练情况下如何在固定内存空间和其他硬件性能的情况下提高数据加载和预处理能力。

原文地址：Destruction and Construction Learning for Fine-grained Image Recognition

官方实现：JDAI-CV/DCL

复现地址：ZJCV/DCL

原文地址：Distilling Knowledge via Knowledge Review

官方实现：dvlab-research/ReviewKD

复现地址：ZJCV/KnowledgeReview

原文地址：A Comprehensive Overhaul of Feature Distillation

官方实现：clovaai/overhaul-distillation

复现地址：ZJCV/overhaul

原文地址：A Gift from Knowledge Distillation: Fast Optimization, Network Minimization and Transfer Learning

原文地址：Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer

官方实现：szagoruyko/attention-transfer