Positive-Influence-Data

리눅스 서버에서 데이터 수집 업무를 하다 보면 일정 시간에 내가 작성한 스크립트가 실행되게 해야 할 때가 있다.이때 사용하는 것이 자동 스케줄러인데 리눅스에서는 crontab을 사용해서 내가 설정한 시간마다 파일을 실행되게 할 수 있다.✔️ Crontab이 뭘까?리눅스에서 반복적인 작업을 자동으로 처리하고 싶을 때 사용하는 도구이다.리눅스 서버를 운영하다 보면 로그를 정리하거나, 데이터를 수집하거나, 특정 스크립트를 주기적으로 실행해야 할 때가 많다.이때 매번 수동으로 실행하는 대신 crontab을 이용하면 정해진 시간마다 자동으로 작업이 실행되도록 예약할 수 있다.리눅스에서 자동화를 담당하는 시간 기반의 작업 스케줄러✔️ Crontab과 CronCrontab은 Cron Table의 줄임말이다. 그럼 c..

요즘 유튜브 숏츠를 보다 보면 아래와 같은 데이터를 통해 순위를 시간 흐름에 따라 시각화 한 영상들이 많이 보인다. 예를 들어 세계 출산율이나 국가별 GDP 순위처럼 특정 지표들이 움직이는 모습을 애니메이션으로 보여주는 영상들을 누구나 한 번쯤 유튜브 알고리즘의 선택을 받아 시청했을 것이라고 생각한다.** 출처 : 데이터 다람쥐 세계출산율 하위권 순위(Shorts) 필자는 데이터 시각화에도 관심이 있어 해당 영상에 사용되는 프로그램을 알아보고 싶었다.Flourish 라는 데이터를 시각화해주는 사이트를 이용한다는 것을 알게 되었고 Flourish를 소개하고자 한다.📌 Flourish는 뭐지? Flourish는 코딩 없이도 다양한 데이터 시각화 그래프를 만들 수 있는 웹 사이트이다. 영국의 데이터 저널리즘..

이전 게시글에서 스마트팜코리아에서 수집한 딸기 생육 데이터를 기반으로, DTW(Dynamic Time Warping) 기법을 사용해 농촌진흥청 데이터와 생육 유사도를 분석했다.이전 글에서는 분석 과정과 핵심 인사이트를 다뤘다면, 이번 글에서는 그 결과를 누구나 웹에서 확인할 수 있도록 배포한 과정을 소개한다.필자는 Streamlit Cloud를 활용해 배포했다. 여기로 들어가면 확인해 볼 수 있다.🛠️ 배포 과정 요약Streamlit 앱 개발DTW 분석 결과를 시각화 (예: 유사도, 비교 그래프 등)유저가 기준 농가를 선택할 수 있도록 기능 추가GitHub에 코드 업로드main.py, requirements.txt 등 필수 파일 정리Streamlit Cloud에 연동 및 배포GitHub 저장소 연결웹 ..

Streamlit으로 대시보드를 만들고 웹앱을 만드는 작업을 하다 보면 배포를 해야 하는 일들이 많다.기본적으로 배포를 하려면 서버를 만들거나 타 플랫폼(클라우드, 전문호스팅 업체 등)을 이용해야 하는데 복잡하기도 하고 비용적인 부분도 고려해야 한다.Streamlit으로 데모버전을 만드려고 하는데 위의 방법으로 배포하기에는 비용과 시간이 많이 들어간다.이에 필자는 GitHub를 활용하여 Streamlit을 배포하는 방법을 알아보려고 한다.GitHub를 활용하여 Streamlit을 손쉽게 배포해 보자🔍 왜 GitHub로 배포할까?로컬에서 실행만 하다 보면 공유가 불편Streamlit은 Github와 연동하면 무료로 배포 가능Github를 쓰면 버전 관리 가능, 협업도 쉬움📌 GitHub에 배포하는 과정..

Streamlit을 쓰다 보면 AI모델을 올리려면 GPU를 써야 할 때가 있는데 GPU가 있는 로컬에서 작업하다가 다른 곳으로 옮겨 작업하면 GPU 성능차이 및 GPU가 없는 경우도 있어서 Colab을 기반으로 작업하는 게 더 나을 때가 있다.이번에는 Streamlit을 Colab에서 실행해 보겠다.🔍 왜 Colab에서 Streamlit을 실행하려고 할까?Colab과 Streamlit은 각자 강력한 장점을 가지고 있다. ☁️ Colab의 장점무료로 GPU, TPU 제공따로 환경 설정 없이 즉시 실행 가능어디서나 접속 가능 (노트북, 태블릿, 모바일)Gemini 등 최신 AI 도구 활용 가능🧩 Streamlit의 장점몇 줄의 코드로 빠르게 웹앱 제작대시보드, 실험 결과 공유에 최적머신러닝/딥러닝 모델 ..

회사에서 업무를 하다 보면 같은 작업을 반복해야 할 때가 있다.필자는 회사에서 약 15000개의 폴더 안에 있는 CSV파일을 열어서 특정 칼럼을 삭제하는 작업을 해야 했다.평소 같았다면 Python으로 15,000개의 폴더 리스트를 만들고, 각 폴더 안에서 CSV 파일을 찾아 하나씩 Pandas로 읽은 뒤, 해당 칼럼을 삭제하고 저장했을 것이다.시간만 투자하면 손쉽게 할 수 있는 일이다.하지만 필자는 약 15000개의 폴더를 봐야 했고 시간이 한정적이라 이 작업을 병렬로 처리해야겠다고 판단했다. 내가 가지고 있는 컴퓨팅자원을 최대한 활용해 보자 이 글에서는 joblib 라이브러리를 활용해 대량의 CSV 파일을 병렬로 빠르게 처리하는 방법을 소개한다. 🔍 joblib이란?Python에서 병렬처리(para..

SQL을 공부하다 보면 어느 순간 너무 복잡한 서브쿼리에 정신이 혼미해질 때가 있다.그리고 필자가 회사에서 업무 할 때도 마찬가지로 여러개의 테이블을 조인해야하고 이것들을 재활용하는 과정에서 SQL내에 temp테이블을 만들기 어려울때가 많이 있다.이럴 때 사용하는 강력한 도구, 바로 WITH문, 즉 공통 테이블 식 (CTE) 필자가 사용했을 때 쿼리를 조금 더 가독성있게 작성 할 수 있었고 정리되는 느낌이었다. SQL을 자주 활용한다면 정리해둬도 좋을 듯 하다.이번 포스팅에서 WITH문을 처음 접한 분들도 쉽게 이해할 수 있도록 개념, 문법, 활용 예제까지 깔끔하게 정리해 보려고 한다. 📌 WITH문이란? (CTE: Common Table Expression)WITH문은 복잡한 SQL 쿼리를 임시 테이..

우리 농가의 생육 패턴은 다른 농가와 얼마나 비슷할까?이 질문에 답을 주기 위해 필자는 생육 유사도라는 지표를 계산한다. 👉 이번 글에서는 앞서 전처리한 스마트팜 생육 데이터를 활용해, DTW(Dynamic Time Warping) 알고리즘을 이용한 생육 유사도 측정 방법을 소개한다.✔ DTW(Dynamic Time Warping)생육 유사도를 측정하기에 앞서 필자가 사용할 DTW(Dynamic Time Warping)에 대해 간단하게 설명하고 넘어가겠다.📌 DTW(Dynamic Time Warping)는 시계열 데이터 간의 유사도를 측정하는 데 널리 사용되는 알고리즘이다. 예를 들어, 두 농가에서 딸기를 재배했을 때 생육 시점은 다르더라도 비슷한 성장 패턴을 보였다면, ..