둔비의 공부공간
AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural Networks 본문
AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural Networks
Doonby 2023. 4. 11. 17:07Neurips 2021
https://arxiv.org/abs/2106.12379
AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural Networks
The increasing computational requirements of deep neural networks (DNNs) have led to significant interest in obtaining DNN models that are sparse, yet accurate. Recent work has investigated the even harder case of sparse training, where the DNN weights are
arxiv.org
Network의 computational requirements가 증가하면서, sparse하지만 정확한 모델에 관심도가 커졌다.
기존의 sparse training methods는 경험적이며 종종 dense baseline보다 성능이 낮은 문제가 있었다.
이 논문에서는 AC/DC training이라고 부르는 general approach를 제안한다.
- AC/DC train epoch = warmup / compressed epoch / decompressed epoch
AC/DC는 비슷한 computational budgets에서 다른 sparse training methods보다 더 좋은 성능을 보였다.
또한, dense pretrained model에 의존하는 다른 방법보다 성능이 좋다.
AC/DC는 dense, sparse model을 함께 학습하는데, 최종적으로는 성능 좋은 sparse-dense model pair를 얻을 수 있다.
https://github.com/IST-DASLab/ACDC
'Papers > Compression' 카테고리의 다른 글
| DEEP ENSEMBLING WITH NO OVERHEAD FOR EITHER TRAINING OR TESTING: THE ALL-ROUND BLESSINGS OF DYNAMIC SPARSITY (0) | 2023.04.12 |
|---|---|
| DSD Survey (0) | 2023.04.12 |
| DENSE-SPARSE-DENSE TRAINING FOR DEEP NEURAL NETWORKS (0) | 2023.04.11 |
| DYNAMIC MODEL PRUNING WITH FEEDBACK (0) | 2023.03.16 |
| THE LOTTERY TICKET HYPOTHESIS:FINDING SPARSE, TRAINABLE NEURAL NETWORKS (0) | 2023.03.09 |
