Positive-Influence-Data

Streamlit으로 대시보드를 만들고 웹앱을 만드는 작업을 하다 보면 배포를 해야 하는 일들이 많다.기본적으로 배포를 하려면 서버를 만들거나 타 플랫폼(클라우드, 전문호스팅 업체 등)을 이용해야 하는데 복잡하기도 하고 비용적인 부분도 고려해야 한다.Streamlit으로 데모버전을 만드려고 하는데 위의 방법으로 배포하기에는 비용과 시간이 많이 들어간다.이에 필자는 GitHub를 활용하여 Streamlit을 배포하는 방법을 알아보려고 한다.GitHub를 활용하여 Streamlit을 손쉽게 배포해 보자🔍 왜 GitHub로 배포할까?로컬에서 실행만 하다 보면 공유가 불편Streamlit은 Github와 연동하면 무료로 배포 가능Github를 쓰면 버전 관리 가능, 협업도 쉬움📌 GitHub에 배포하는 과정..

Streamlit을 쓰다 보면 AI모델을 올리려면 GPU를 써야 할 때가 있는데 GPU가 있는 로컬에서 작업하다가 다른 곳으로 옮겨 작업하면 GPU 성능차이 및 GPU가 없는 경우도 있어서 Colab을 기반으로 작업하는 게 더 나을 때가 있다.이번에는 Streamlit을 Colab에서 실행해 보겠다.🔍 왜 Colab에서 Streamlit을 실행하려고 할까?Colab과 Streamlit은 각자 강력한 장점을 가지고 있다. ☁️ Colab의 장점무료로 GPU, TPU 제공따로 환경 설정 없이 즉시 실행 가능어디서나 접속 가능 (노트북, 태블릿, 모바일)Gemini 등 최신 AI 도구 활용 가능🧩 Streamlit의 장점몇 줄의 코드로 빠르게 웹앱 제작대시보드, 실험 결과 공유에 최적머신러닝/딥러닝 모델 ..

회사에서 업무를 하다 보면 같은 작업을 반복해야 할 때가 있다.필자는 회사에서 약 15000개의 폴더 안에 있는 CSV파일을 열어서 특정 칼럼을 삭제하는 작업을 해야 했다.평소 같았다면 Python으로 15,000개의 폴더 리스트를 만들고, 각 폴더 안에서 CSV 파일을 찾아 하나씩 Pandas로 읽은 뒤, 해당 칼럼을 삭제하고 저장했을 것이다.시간만 투자하면 손쉽게 할 수 있는 일이다.하지만 필자는 약 15000개의 폴더를 봐야 했고 시간이 한정적이라 이 작업을 병렬로 처리해야겠다고 판단했다. 내가 가지고 있는 컴퓨팅자원을 최대한 활용해 보자 이 글에서는 joblib 라이브러리를 활용해 대량의 CSV 파일을 병렬로 빠르게 처리하는 방법을 소개한다. 🔍 joblib이란?Python에서 병렬처리(para..

업무를 하다 보면 데이터를 핸들링해야 하고 이를 시각화 및 ML/DL을 해야 할 때가 있다. 특히 실시간으로 쌓이는 데이터를 다뤄야 할 때는 고정된 CSV의 데이터보다 DB에 접근해서 처리해야 하는 경우가 많다. 물론 요즘에 클라우드 기반인 회사 및 프로덕트가 많아서 클라우드 위에서 뭔가를 하는 경우가 많지만 필자의 회사는 서버 위에서 작업을 하고 있다. 그래서 실시간으로 데이터를 전처리 해야 하고 이를 ML/DL 작업을 하기 위해서 DB 접근이 필수적이다. 파이썬으로 DB를 붙여서 데이터를 핸들링하자 필자의 회사는 Postgre를 사용 중이다. 파이썬 라이브러리 중에 Psycopg2라는 라이브러리가 있다.이것을 활용해서 PostgreDB에 접근하고 파이썬 위에서 데이터를 핸들링해 보겠다. □ Psyco..

회사에서 일을 하다보면 PDF를 생성하거나 조작해야하는 일이 있다.필자는 데이터 분석과 머신러닝을 바탕으로 주기적인 리포팅을 해야하는 문제에 직면했다.데이터 분석 및 ML/DL 결과 리포팅을 해야할 때 어떻게 해야할까?  주로 이런경우 시스템에 올리지 않는다면대부분 문서작업을 하게 되는데 한글, MS WORD 등을 활용해서 단기성 리포팅을 하게 된다.하지만 주기적으로 해야한다면 상당히 불편하기도 하다. 꼼꼼하지 못한 성격이라면 이전 내용을 그대로 쓰는 문제가 있어실수가 나올 수 밖에 없다.(필자가 그랬다..)이를 해결하기 위해 PDF로 작업하여 자동화 하는 방법을 생각했다. 여러 라이브러리를 알아보던중"Report Lab"이라는 파이썬 라이브러리로 자동화를 시도했다. 이제부터 이것을 간단하게 알아보도록 ..