Safetensors

Safetensors는 모델의 전체 구조를 포함하는 것이 아니라, 모델의 가중치와 같은 텐서(tensor)만을 저장하고 로드하는 데 집중한 파일 형식입니다. 이 방식은 모델을 불러올 때 **구조적인 정보(예: 레이어, 활성화 함수 설정 등)**가 아닌, 단순히 가중치와 편향값 같은 수치 데이터만 불러오기 때문에 매우 효율적입니다.기존의 pickle 방식이나 일반 .pt 파일 형식에서는 모델의 모든 정보(구조와 가중치)를 포함하는 데 반해, Safetensors는 보안과 속도 최적화에 초점을 맞추어 텐서 데이터만 안전하게 저장하고 불러올 수 있도록 설계되었습니다. 이렇게 하면 텐서 데이터를 필요에 따라 여러 모델에 재사용하거나 맞춤형 모델 구조에 텐서 데이터만 로드할 수 있게 됩니다​Hugging Face..
DeepLearning 2024. 10. 30. 19:59
1