Kaggle 대회에서 사용하는 "Public"과 "Private" 리더보드의 평가 방식

Kaggle 대회에서 사용하는 "Public"과 "Private" 리더보드의 평가 방식은 다음과 같습니다:

1. Public Leaderboard (공개 리더보드):

   • 참가자가 제출한 예측 결과는 데이터셋의 일부 (대개 50%)에 대해서만 평가됩니다.
   • 이 평가 점수가 대회 진행 중에 리더보드에 표시되어, 참가자들이 자신의 순위를 실시간으로 확인할 수 있습니다.
   • Public Leaderboard는 대회 중간에 자신의 모델 성능을 비교하고 개선할 수 있는 지표로 사용됩니다.

2. Private Leaderboard (비공개 리더보드):

   • 나머지 데이터셋 (대개 50%)을 사용하여 평가됩니다.
   • 이 평가는 대회가 종료된 후에만 공개되며, 최종 순위를 결정하는 데 사용됩니다.
   • Private Leaderboard는 대회 중에는 공개되지 않으므로, 참가자는 자신의 모델이 이 데이터셋에서 어떻게 성능을 발휘하는지 알 수 없습니다.

평가 방식

• 데이터셋 분할:

  • Kaggle에서 제공하는 테스트 데이터셋은 미리 Public과 Private으로 분할됩니다. 참가자에게는 이를 알 수 있는 방법이 없습니다.
  • 참가자가 제출한 예측 결과는 Public 부분에 대해 평가되어 Public Leaderboard에 점수가 올라가고, 나중에 Private 부분에 대해서도 평가되어 Private Leaderboard에 점수가 올라갑니다.

• 최종 평가:

  • 대회가 끝난 후, 각 참가자가 제출한 여러 결과 중 하나 (대개 마지막으로 제출한 것 또는 참가자가 선택한 최종 제출)를 기준으로 Private Leaderboard에 점수가 매겨집니다.
  • 이 최종 점수를 바탕으로 최종 순위가 결정됩니다.

이런 방식은 참가자들이 모델을 과적합(overfitting)하지 않도록 유도하며, 모델의 일반화 성능(generalization performance)을 평가하는 데 도움을 줍니다. Public Leaderboard에서는 잘 나왔지만 Private Leaderboard에서는 성능이 떨어지는 모델은 과적합의 위험이 있다는 것을 의미합니다. 따라서 참가자들은 다양한 데이터를 사용하여 모델을 튜닝하고 검증해야 하며, 최종적으로 가장 일반화 성능이 좋은 모델을 제출하는 것이 중요합니다.