Positive-Influence-Data

Streamlit으로 대시보드를 만들고 웹앱을 만드는 작업을 하다 보면 배포를 해야 하는 일들이 많다.기본적으로 배포를 하려면 서버를 만들거나 타 플랫폼(클라우드, 전문호스팅 업체 등)을 이용해야 하는데 복잡하기도 하고 비용적인 부분도 고려해야 한다.Streamlit으로 데모버전을 만드려고 하는데 위의 방법으로 배포하기에는 비용과 시간이 많이 들어간다.이에 필자는 GitHub를 활용하여 Streamlit을 배포하는 방법을 알아보려고 한다.GitHub를 활용하여 Streamlit을 손쉽게 배포해 보자🔍 왜 GitHub로 배포할까?로컬에서 실행만 하다 보면 공유가 불편Streamlit은 Github와 연동하면 무료로 배포 가능Github를 쓰면 버전 관리 가능, 협업도 쉬움📌 GitHub에 배포하는 과정..

회사에서 업무를 하다 보면 같은 작업을 반복해야 할 때가 있다.필자는 회사에서 약 15000개의 폴더 안에 있는 CSV파일을 열어서 특정 칼럼을 삭제하는 작업을 해야 했다.평소 같았다면 Python으로 15,000개의 폴더 리스트를 만들고, 각 폴더 안에서 CSV 파일을 찾아 하나씩 Pandas로 읽은 뒤, 해당 칼럼을 삭제하고 저장했을 것이다.시간만 투자하면 손쉽게 할 수 있는 일이다.하지만 필자는 약 15000개의 폴더를 봐야 했고 시간이 한정적이라 이 작업을 병렬로 처리해야겠다고 판단했다. 내가 가지고 있는 컴퓨팅자원을 최대한 활용해 보자 이 글에서는 joblib 라이브러리를 활용해 대량의 CSV 파일을 병렬로 빠르게 처리하는 방법을 소개한다. 🔍 joblib이란?Python에서 병렬처리(para..

업무를 하다 보면 데이터를 핸들링해야 하고 이를 시각화 및 ML/DL을 해야 할 때가 있다. 특히 실시간으로 쌓이는 데이터를 다뤄야 할 때는 고정된 CSV의 데이터보다 DB에 접근해서 처리해야 하는 경우가 많다. 물론 요즘에 클라우드 기반인 회사 및 프로덕트가 많아서 클라우드 위에서 뭔가를 하는 경우가 많지만 필자의 회사는 서버 위에서 작업을 하고 있다. 그래서 실시간으로 데이터를 전처리 해야 하고 이를 ML/DL 작업을 하기 위해서 DB 접근이 필수적이다. 파이썬으로 DB를 붙여서 데이터를 핸들링하자 필자의 회사는 Postgre를 사용 중이다. 파이썬 라이브러리 중에 Psycopg2라는 라이브러리가 있다.이것을 활용해서 PostgreDB에 접근하고 파이썬 위에서 데이터를 핸들링해 보겠다. □ Psyco..

회사에서 일을 하다보면 PDF를 생성하거나 조작해야하는 일이 있다.필자는 데이터 분석과 머신러닝을 바탕으로 주기적인 리포팅을 해야하는 문제에 직면했다.데이터 분석 및 ML/DL 결과 리포팅을 해야할 때 어떻게 해야할까?  주로 이런경우 시스템에 올리지 않는다면대부분 문서작업을 하게 되는데 한글, MS WORD 등을 활용해서 단기성 리포팅을 하게 된다.하지만 주기적으로 해야한다면 상당히 불편하기도 하다. 꼼꼼하지 못한 성격이라면 이전 내용을 그대로 쓰는 문제가 있어실수가 나올 수 밖에 없다.(필자가 그랬다..)이를 해결하기 위해 PDF로 작업하여 자동화 하는 방법을 생각했다. 여러 라이브러리를 알아보던중"Report Lab"이라는 파이썬 라이브러리로 자동화를 시도했다. 이제부터 이것을 간단하게 알아보도록 ..

❗ Ray를 활용해서 데이터프레임을 분산/병렬처리 해보자. 대용량의 데이터를 다루다보면 데이터 처리하는 시간이 많이 걸릴 때가 있다. 필자 역시 일을 하면서 경험했었고 실제로 “병렬로 데이터를 처리하면 훨씬 빠르게 처리 할 수 있지 않을까?” 라는 생각을 했던적이 있다. 특히, 가용가능한 CPU와 GPU가 있는데 이것들의 사용량을 보면 제대로 활용하지 못하고 있다는 생각이 들었다. 그래서 한정된 자원에서 최대한 효율을 내려고 병렬처리를 할 수 있는 Python 라이브러리를 찾아보는 계기가 되었다. Python에서는 주로 Multiprocessing을 많이 사용하고 그 다음으로 Ray를 많이 사용하는 것으로 파악된다. 필자는 ML/DL환경에서도 쉽게 사용할 수 있는 Ray를 사용하기로 했다. Ray는 py..

❗ 본 포스팅은 Programmers의 코딩테스트 연습문제를 활용합니다. 다양한 문제를 풀어보고 싶다면 Programmers를 방문하세요. 주식가격 문제이다. 문제를 보면 그렇게 어려워보이지는 않아보인다. 문제를 해석하면 주식가격이 떨어지지 않은 기간을 구해야함 리스트의 앞에서부터 순차적으로 뽑음. 뽑고 남은 원소들과 비교(뽑힌거보다 같거나 크면 카운트) 큐를 이용하면 쉽게 풀린다. 차례대로 1, 2, 3, 1, 2 이렇게 순서대로 뽑히게 되고 각각 뽑힐때마다 뒤에 있는 원소와 비교하면 된다. from collections import deque def solution(prices): answer = [] qu = deque(prices) while qu: count = 0 x = qu.popleft()..