Table of Contents
728x90
Safetensors는 모델의 전체 구조를 포함하는 것이 아니라, 모델의 가중치와 같은 텐서(tensor)만을 저장하고 로드하는 데 집중한 파일 형식입니다. 이 방식은 모델을 불러올 때 **구조적인 정보(예: 레이어, 활성화 함수 설정 등)**가 아닌, 단순히 가중치와 편향값 같은 수치 데이터만 불러오기 때문에 매우 효율적입니다.
기존의 pickle 방식이나 일반 .pt 파일 형식에서는 모델의 모든 정보(구조와 가중치)를 포함하는 데 반해, Safetensors는 보안과 속도 최적화에 초점을 맞추어 텐서 데이터만 안전하게 저장하고 불러올 수 있도록 설계되었습니다. 이렇게 하면 텐서 데이터를 필요에 따라 여러 모델에 재사용하거나 맞춤형 모델 구조에 텐서 데이터만 로드할 수 있게 됩니다
.
'DeepLearning' 카테고리의 다른 글
Hugging Face - Models 알아보자 (0) | 2024.10.30 |
---|---|
Hugging Face 구성요소 및 활용방법 (0) | 2024.10.30 |
Data-Centric AI에서 알아야 할 라이센스License 2가지 - OSL, CCL (3) | 2024.09.12 |
AssertionError: Torch not compiled with CUDA enabled (1) | 2024.09.02 |
원격 서버 계속 돌아가게 만들기 tmux활용 (0) | 2024.09.02 |
250x250
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- 오블완
- #패스트캠퍼스 #패스트캠퍼스AI부트캠프 #업스테이지패스트캠퍼스 #UpstageAILab#국비지원 #패스트캠퍼스업스테이지에이아이랩#패스트캠퍼스업스테이지부트캠프
- LIST
- 리스트
- recursion #재귀 #자료구조 # 알고리즘
- nlp
- English
- Array
- 코딩테스트
- 티스토리챌린지
- cnn
- LLM
- #패스트캠퍼스 #UpstageAILab #Upstage #부트캠프 #AI #데이터분석 #데이터사이언스 #무료교육 #국비지원 #국비지원취업 #데이터분석취업 등
- PEFT
- classification
- Github
- 해시
- RAG
- t5
- speaking
- Lora
- Python
- Hugging Face
- 파이썬
- 손실함수
- git
- Transformer
- clustering
- #패스트캠퍼스 #패스트캠퍼스ai부트캠프 #업스테이지패스트캠퍼스 #upstageailab#국비지원 #패스트캠퍼스업스테이지에이아이랩#패스트캠퍼스업스테이지부트캠프
- Numpy
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
글 보관함