Positive-Influence-Data

회사에서 업무를 하다 보면 같은 작업을 반복해야 할 때가 있다.필자는 회사에서 약 15000개의 폴더 안에 있는 CSV파일을 열어서 특정 칼럼을 삭제하는 작업을 해야 했다.평소 같았다면 Python으로 15,000개의 폴더 리스트를 만들고, 각 폴더 안에서 CSV 파일을 찾아 하나씩 Pandas로 읽은 뒤, 해당 칼럼을 삭제하고 저장했을 것이다.시간만 투자하면 손쉽게 할 수 있는 일이다.하지만 필자는 약 15000개의 폴더를 봐야 했고 시간이 한정적이라 이 작업을 병렬로 처리해야겠다고 판단했다. 내가 가지고 있는 컴퓨팅자원을 최대한 활용해 보자 이 글에서는 joblib 라이브러리를 활용해 대량의 CSV 파일을 병렬로 빠르게 처리하는 방법을 소개한다. 🔍 joblib이란?Python에서 병렬처리(para..

회사에서 일을 하다보면 PDF를 생성하거나 조작해야하는 일이 있다.필자는 데이터 분석과 머신러닝을 바탕으로 주기적인 리포팅을 해야하는 문제에 직면했다.데이터 분석 및 ML/DL 결과 리포팅을 해야할 때 어떻게 해야할까?  주로 이런경우 시스템에 올리지 않는다면대부분 문서작업을 하게 되는데 한글, MS WORD 등을 활용해서 단기성 리포팅을 하게 된다.하지만 주기적으로 해야한다면 상당히 불편하기도 하다. 꼼꼼하지 못한 성격이라면 이전 내용을 그대로 쓰는 문제가 있어실수가 나올 수 밖에 없다.(필자가 그랬다..)이를 해결하기 위해 PDF로 작업하여 자동화 하는 방법을 생각했다. 여러 라이브러리를 알아보던중"Report Lab"이라는 파이썬 라이브러리로 자동화를 시도했다. 이제부터 이것을 간단하게 알아보도록 ..