huggingface trainer KeyError: “eval_accuracy”

해당 이슈는 eval dataset에서 data collator로부터 올바른 레이블이 할당되지 않았을 때 생긴다.

이 이슈를 해결하기 위해 eval dataset에 올바른 레이블이 할당되었는지 체크해야한다.

이를 위해 할 수 있는 것은 eval dataset을 dataset 라이브러리의 map 메소드를 호출하고 난 뒤, print를 해보는 것을 추천한다.

예를들어 huggingface를 통해 cifar100 데이터셋을 로드하는 경우 “label”이 아니라 “coarse_label”, “fine_label”이 추가되는 것을 확인할 수 있다.

때문에 remove_column으로 “coarse_label”을 지우고 rename_column으로 “fine_label”을 “label” 또는 “labels”로 바꿔주자!!