Learning Spatiotemporal Features with 3D Convolutional Networks
本文字数: 2.8k 阅读时长 ≈ 5 分钟
[Jenkins]使用Docker容器配置编译环境
本文字数: 4k 阅读时长 ≈ 7 分钟
首先通过Docker
容器保存好完整的开发环境,在Jenkins
任务中调用容器进行工程的编译。完美~~~
DVC: An End-to-end Deep Video Compression Framework
本文字数: 5.6k 阅读时长 ≈ 10 分钟
数据pipeline优化
发表于 分类于 部署/deploy
本文字数: 1.7k 阅读时长 ≈ 3 分钟
之前训练的时候只是把图像数据保存在磁盘上,通过torchvision Dataloader
方式进行批量加载。最近遇到一个问题,就是批量加载ImageNet
数据时发现程序运行很慢,但是cpu/gpu
的使用率并不高,查询过后发现是遇到了磁盘io
的瓶颈
除了使用更好的硬件(比如用固态硬盘替代机械硬盘)来解决问题外,在网上还找到了不少的软件优化方法:
- 打开
dataloade pin_memory
- 替换数据预处理库
- 使用
lmdb
加快磁盘到cpu
内存的io
- 使用
prefetcher
加快cpu
内存到gpu
内存的io
- 使用
dali
加速数据预处理 - 其他
[2021]文档整理小结
发表于 分类于 部署/deploy
本文字数: 469 阅读时长 ≈ 1 分钟
距离上次系统性的整理文档快过去一年时间了。这一段时间以来,增加了很多新的内容,感脚之前的架构已经不能很好的匹配当前的知识储备,对于文章的保存和搜索也出现了越来越大的困难。从2/3
月份开始,断断续续花费了近2
个月的时间重新进行思考和整理,实现了一个相对而言更加合理、能够满足目前需求的架构