해당 이슈는 eval dataset에서 data collator로부터 올바른 레이블이 할당되지 않았을 때 생긴다.
이 이슈를 해결하기 위해 eval dataset에 올바른 레이블이 할당되었는지 체크해야한다.
이를 위해 할 수 있는 것은 eval dataset을 dataset 라이브러리의 map 메소드를 호출하고 난 뒤, print를 해보는 것을 추천한다.
예를들어 huggingface를 통해 cifar100 데이터셋을 로드하는 경우 “label”이 아니라 “coarse_label”, “fine_label”이 추가되는 것을 확인할 수 있다.
때문에 remove_column으로 “coarse_label”을 지우고 rename_column으로 “fine_label”을 “label” 또는 “labels”로 바꿔주자!!
반응형
'DL' 카테고리의 다른 글
[cs182] Lecture 2. Machine Learning Basics (1) | 2024.02.09 |
---|---|
[cs182] Lecture 1. Introduction (1) | 2024.02.09 |
torchvision.datasets.Imagefolder 폴더 레이블링 이슈 (0) | 2023.11.21 |
[리뷰] Energy-based Out-of-distribution Detection (0) | 2023.09.07 |
[리뷰] NaturalInversion: Data-Free Image Synthesis Improving Real-World Consistency (0) | 2023.07.02 |