문과생CS정복기

엑셀에서 CSV 파일의 한글이 깨져 보이는 이유는 주로 인코딩 문제 때문입니다. Python에서는 파일을 UTF-8로 처리하는 것이 기본이지만, Microsoft Excel은 CSV 파일을 열 때 기본적으로 ANSI(또는 Windows-1252) 같은 다른 인코딩 방식을 사용하기 때문에 한글이 깨져 보일 수 있습니다.원인:Excel의 기본 인코딩 문제:엑셀은 CSV 파일을 열 때 UTF-8 인코딩을 자동으로 인식하지 않는 경우가 많습니다. 엑셀은 ANSI 또는 Windows-1252 같은 인코딩 방식으로 CSV 파일을 열기 때문에, UTF-8로 저장된 한글 데이터가 깨져 보일 수 있습니다.특히, UTF-8 인코딩 파일에 BOM(Byte Order Mark)이 없는 경우, 엑셀이 이를 UTF-8 파일로 인..

ref: https://velog.io/@gmlstjq123/Readme.md-%ED%8C%8C%EC%9D%BC-%EC%9E%91%EC%84%B1%EB%B2%95이번 포스팅에서는 여러분들의 Github Repository를 한층 업그레이드 시킬 수 있는 Readme.md 파일 작성법에 대해서 알아보겠습니다.1. README1) 개념README 파일은 주로 Github 프로필 혹은 Repository에 대한 설명을 나타내기 위해 작성한다. README는 쉽게 말하면 가이드라인, 안내문 정도로 생각할 수 있다. 그 이유는 README 파일에는 일반적으로 프로젝트에 대한 정보가 담겨 있어, 소프트웨어 배포시에 함께 포함되는데, 이러한 점이 마치 새 제품을 샀을 때 읽어보는 사용 설명서와 비슷하기 때문이다.2)..

첫번쨰 방법. 일반적인 Git Clone 명령어git을 설치, 내 git이메일주소와 gitusername을 셋팅, repo를 clone.명령어 실행 시 GitHub 계정의 비밀번호 대신 GitHub 개인 액세스 토큰을 입력해야 할 수 있다.apt-get updateapt install -y gitgit --versiongit config --global user.email "git-mail@gmail.com"git config --global user.name "git-username"git clone https://github.com/UpstageAILab3/upstage-nlp-summarization-nlp11.gitrepo주소는 Code 를 클릭하고 복사하기 버튼을 누르면 된다. 다음과 같이 진행..

reference: https://velog.io/@gmlstjq123/Branch-%EB%B3%B4%ED%98%B8-%EA%B7%9C%EC%B9%99-%EC%84%A4%EC%A0%95%ED%95%98%EA%B8%B0이전 포스팅에서 Branch 보호 규칙에 대한 간단한 개념을 소개했는데요. 이번 시간에는 어떻게 보호 규칙을 설정하는지를 알아보겠습니다. 더불어 보호되고 있는 브랜치의 코드를 수정하려면, 관리자에게 Pull Request를 보내 수정을 요청해야 하는데요. 이 방법에 대해서도 알아보겠습니다.1. 브랜치 보호 규칙 설정① 팀원들과 공유하고 있는 public Repository에 들어간다.② Settings를 클릭한다.③ 좌측 메뉴의 Branches를 클릭한다.④ Add rule을 클릭한다.⑤ 필..

reference: https://velog.io/@gmlstjq123/Github-Organization-%EB%A7%8C%EB%93%A4%EA%B8%B0오늘은 팀원들과 함께 작업하기 위해 Github Organization을 만들어보려 합니다. 여기서 Github Organization이란, 같은 프로젝트를 관리하는 데 사용하는 Github 그룹 계정을 말합니다. 지난 포스팅에선 개인 Repository에서 협업하는 방법을 다루어 보았는데, 사실은 Organization이 효율적인 협업 프로세스에 더욱 적합합니다.1. Organization의 필요성지금까지는 개인 Repository에 코드를 업로드하고, 팀원들과 협업하는 방법을 다뤄보았다면, 이번 포스팅에서는 Organization을 만들어 Repo..

torch, torchvision 등 다양한  라이브러리를 사용해야 하는 상황에서는 항상 numpy denpendancy 에 문제가 생겼다.venv를 지웠다가 numpy부터 깔았다가 버젼을 낮췄다가 해보아도 모든 경우에 실패했고결국 conda로 셋팅해서 성공했다.conda 에서 가상환경을 설치할까도 생각했지만 더 복잡해질 것 같아 그냥 conda base에서 라이브러리들을 pip로 설치했다.venv --> conda이제 conda만 쓰기로...

Python에서 메모리 관리를 효과적으로 수행하기 위해 몇 가지 방법을 사용할 수 있습니다. 특히 특정 데이터셋만 유지하고 다른 데이터를 메모리에서 해제하고자 할 때 적용할 수 있는 몇 가지 방법을 소개합니다:변수 삭제와 가비지 컬렉션 활용del 명령어를 사용하여 불필요한 변수를 삭제할 수 있습니다. 예를 들어, 더 이상 필요 없는 큰 데이터셋이나 임시 변수를 삭제합니다.Python의 가비지 컬렉터를 수동으로 실행하여 메모리를 정리할 수 있습니다. gc.collect() 함수를 호출하면 된다.import gc# 변수 삭제del large_variablegc.collect()데이터 구조 최적화데이터셋을 사용할 때 데이터 타입과 구조를 최적화하여 메모리 사용량을 줄일 수 있습니다. 예를 들어, pandas ..

대규모 데이터셋을 다루는 경우, Python에서 메모리 문제나 데이터 저장 오류가 발생할 수 있습니다. 이를 해결하기 위한 몇 가지 접근 방법을 제안합니다:1. 데이터 처리 최적화데이터 타입 줄이기: 데이터 타입을 효율적으로 변경하여 메모리 사용량을 줄일 수 있습니다.필요한 열만 사용: 필요한 열만 선택하여 메모리 사용을 최적화할 수 있습니다.import pandas as pdimport numpy as np# 데이터 타입 줄이기def optimize_memory(df): for col in df.select_dtypes(include=['int']).columns: df[col] = pd.to_numeric(df[col], downcast='unsigned') for col in..