티스토리

Positive-Influence-Data

검색하기

블로그 홈

Positive-Influence-Data

pi-data.tistory.com/m

DS쟁이 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

[SmartFarm] 스마트팜코리아 데이터로 생육 유사도 측정 (수집&처리편) ✔ 필자의 환경필자는 스마트팜코리아에서 직접 다운로드한 CSV 파일들을 활용했고 Python을 활용해 데이터 분석 및 DTW 알고리즘 적용을 했다. 이점 참고하시면 도움 될 것 같다.✔ 스마트팜 코리아 데이터 마트에서 데이터 수집 필자는 데이터를 얻기 위함이 크므로 스마트팜코리아 데이터 마트에서 데이터를 수집해 보겠다.필자가 판단하기에 농촌진흥청 데이터가 스마트팜 생육유사도를 측정하기 적합한 데이터이므로 농촌진흥청의 생육데이터를 바탕으로 생육유사도를 측정해 보겠다.필자는 딸기, 오이, 방울토마토, 완숙토마토, 파프리카 총 5개의 품목과 2018년 ~ 2021년 농촌진흥청 우수농가 데이터를 활용할 예정이다.👉 농촌진흥청 생육 데이터 다운로드 바로가기 위의 링크로 들어가면 농촌진흥청 '농업 빅데이터 수집 .. 공감수 0 댓글수 0 2025. 4. 25.
[SmartFarm] 스마트팜코리아 데이터로 생육 유사도 측정 (기획편) 필자는 여러 가지 데이터를 분석하던 중 스마트팜 데이터에 관심을 가지게 되었다.데이터를 살펴보고 농민들이 실제로 알고 싶어 하는 내용이 무엇일까? 고민하게 되었고 나와 같은 작물을 재배하는 농장들은 어떻게 식물을 기르고 있는지 생육지표는 어떻게 되는지 궁금해한다.필자도 데이터를 보다보면 해당 데이터가 맞는 생육지표로 수집되었는지 궁금했다. 그래서 아래와 같은 생각을 하게 되었다. 표준 및 우수한 데이터를 바탕으로 다른 농가들의 생육데이터의 유사도를 측정하고 이를 비교하자✔ 스마트팜 코리아 소개먼저, 스마트팜코리아 라는 사이트를 소개하려고 한다.스마트팜코리아는 농림수산식품교육문화정보원이 운영하는 스마트팜 전용 플랫폼이다. 📊 주요 서비스:스마트팜 데이터 마트농가 대상 교육 콘텐츠스마트팜 데이터 분석 서비.. 공감수 0 댓글수 0 2025. 4. 20.
[Psycopg2] Postgresql 파이썬으로 접근 업무를 하다 보면 데이터를 핸들링해야 하고 이를 시각화 및 ML/DL을 해야 할 때가 있다. 특히 실시간으로 쌓이는 데이터를 다뤄야 할 때는 고정된 CSV의 데이터보다 DB에 접근해서 처리해야 하는 경우가 많다. 물론 요즘에 클라우드 기반인 회사 및 프로덕트가 많아서 클라우드 위에서 뭔가를 하는 경우가 많지만 필자의 회사는 서버 위에서 작업을 하고 있다. 그래서 실시간으로 데이터를 전처리 해야 하고 이를 ML/DL 작업을 하기 위해서 DB 접근이 필수적이다. 파이썬으로 DB를 붙여서 데이터를 핸들링하자 필자의 회사는 Postgre를 사용 중이다. 파이썬 라이브러리 중에 Psycopg2라는 라이브러리가 있다.이것을 활용해서 PostgreDB에 접근하고 파이썬 위에서 데이터를 핸들링해 보겠다. □ Psyco.. 공감수 0 댓글수 0 2025. 3. 26.
[ML] 데이터 분포 정규화 ❗ 본 포스팅은 AI-Tech Interview의 질문을 바탕으로 공부한 내용을 정리한 것입니다. Q. 정규화를 왜 해야 할까요? 정규화의 방법은 무엇이 있나요? ▷ 정규화(Nomalization) 각 변수를 동일하게 스케일링하는 것을 의미한다. □ Min-Max Scaling 대표적인 방법으로 최대, 최소를 기준으로 0~1 사이로 값을 고정하는 방법(Min-Max Scaling)이 있다. 데이터의 분포는 바뀌지 않고 스케일만 0~1로 바뀌기 때문에 이상치가 있다면 그것의 영향을 받게 된다. 위를 보면 분포는 같은데 X축의 스케일만 달라진 것을 확인 할 수 있다. □ Robust Scaling 이상치의 영향을 덜 받는 Robust Scaling이 있다. 이것은 4분 위수 IQR로 .. 공감수 1 댓글수 0 2025. 2. 24.
[Report Lab] Python PDF 생성 회사에서 일을 하다보면 PDF를 생성하거나 조작해야하는 일이 있다.필자는 데이터 분석과 머신러닝을 바탕으로 주기적인 리포팅을 해야하는 문제에 직면했다.데이터 분석 및 ML/DL 결과 리포팅을 해야할 때 어떻게 해야할까? 주로 이런경우 시스템에 올리지 않는다면대부분 문서작업을 하게 되는데 한글, MS WORD 등을 활용해서 단기성 리포팅을 하게 된다.하지만 주기적으로 해야한다면 상당히 불편하기도 하다. 꼼꼼하지 못한 성격이라면 이전 내용을 그대로 쓰는 문제가 있어실수가 나올 수 밖에 없다.(필자가 그랬다..)이를 해결하기 위해 PDF로 작업하여 자동화 하는 방법을 생각했다. 여러 라이브러리를 알아보던중"Report Lab"이라는 파이썬 라이브러리로 자동화를 시도했다. 이제부터 이것을 간단하게 알아보도록 .. 공감수 0 댓글수 0 2025. 2. 20.
[ML]Netron(딥러닝 모델 시각화 도구) Q.딥러닝을 배우면 모델 설계를 하게 되는데 이걸 직관적으로 표현하는 방법은 무엇?보통 이런 의문이 든다.필자가 딥러닝이라는 것을 배울때는 아래와 같이 텐서플로, 케라스의 모델 시각화(plot_model)기능으로 시각화를 했었다. 간단하고 직관적으로 표현되었다는 느낌이 들었고 학부생 과제를 할 때 유용하게 사용했다.처음에 들어가는 데이터가 어떤 Shape이어야하는지를 파악할 때 편했고 각 레이어를 통과하면서 어떤 Shape으로 변화하는지 잘 알 수 있었다. 하지만 필자는 회사를 다니게 되면서 조금더 윗 분들은 복잡한 내용보다는 조금더 직관적이고 이쁘고 알기 쉽게 시각화하기를 원하는 경우가 많았고 이를 위해 더 많은 자료를 찾던중 Netron이라는 것을 발견하게 되었다. Q. Netron은 무엇인가? 그리.. 공감수 0 댓글수 0 2025. 2. 17.
[Ray] Ray를 활용한 데이터 프레임 Concat ❗ Ray를 활용해서 데이터프레임을 분산/병렬처리 해보자. 대용량의 데이터를 다루다보면 데이터 처리하는 시간이 많이 걸릴 때가 있다. 필자 역시 일을 하면서 경험했었고 실제로 “병렬로 데이터를 처리하면 훨씬 빠르게 처리 할 수 있지 않을까?” 라는 생각을 했던적이 있다. 특히, 가용가능한 CPU와 GPU가 있는데 이것들의 사용량을 보면 제대로 활용하지 못하고 있다는 생각이 들었다. 그래서 한정된 자원에서 최대한 효율을 내려고 병렬처리를 할 수 있는 Python 라이브러리를 찾아보는 계기가 되었다. Python에서는 주로 Multiprocessing을 많이 사용하고 그 다음으로 Ray를 많이 사용하는 것으로 파악된다. 필자는 ML/DL환경에서도 쉽게 사용할 수 있는 Ray를 사용하기로 했다. Ray는 py.. 공감수 0 댓글수 0 2024. 2. 28.
[SQL] 배송 예정일 예측 성공과 실패 ❗ 본 포스팅은 Solvesql의 연습문제를 활용합니다. 다양한 SQL 문제를 풀어보고 싶다면 Solvesql를 방문하세요. 이번문제는 배송 예정일 예측 성공과 실패이다. 문제를 살펴보자. 문제를 해석하면 2017년 1월 한달동안 구매 데이터를 추출한다. 배송예정 시점이 배송완료 시점보다 같거나 뒤에 있으면 success 아니면 fail 생각을 조금 해야하는 문제이다. select purchase_date, sum(success) as success, sum(fail) as fail from (select strftime('%Y-%m-%d',order_purchase_timestamp , 'localtime') as purchase_date , case when order_delivered_custome.. 공감수 0 댓글수 0 2022. 12. 15.
[Algorithm] 주식가격(python) ❗ 본 포스팅은 Programmers의 코딩테스트 연습문제를 활용합니다. 다양한 문제를 풀어보고 싶다면 Programmers를 방문하세요. 주식가격 문제이다. 문제를 보면 그렇게 어려워보이지는 않아보인다. 문제를 해석하면 주식가격이 떨어지지 않은 기간을 구해야함 리스트의 앞에서부터 순차적으로 뽑음. 뽑고 남은 원소들과 비교(뽑힌거보다 같거나 크면 카운트) 큐를 이용하면 쉽게 풀린다. 차례대로 1, 2, 3, 1, 2 이렇게 순서대로 뽑히게 되고 각각 뽑힐때마다 뒤에 있는 원소와 비교하면 된다. from collections import deque def solution(prices): answer = [] qu = deque(prices) while qu: count = 0 x = qu.popleft().. 공감수 0 댓글수 0 2022. 11. 30.
[SQL] 작품이 없는 작가 찾기 ❗ 본 포스팅은 Solvesql의 연습문제를 활용합니다. 다양한 SQL 문제를 풀어보고 싶다면 Solvesql를 방문하세요. 이번 문제는 작품이 없는 작가 찾기이다. 문제를 해석하면 살아있지않은 작가를 추출한다. 등록된 작품이 없는 작가를 추출한다.(join) artist_id와 name을 출력한다. 보기에는 간단해보이는 문제이지만 필자는 생각보다 오래걸린듯하다. select t1.artist_id, name from ( select artist_id, name from artists where death_year is not null ) as t1 left join ( select distinct (artist_id) as artist_id from artworks_artists ) as t2 on (.. 공감수 0 댓글수 0 2022. 11. 30.
[SQL] 일별 블로그 방문자 수 집계 ❗ 본 포스팅은 Solvesql의 연습문제를 활용합니다. 다양한 SQL 문제를 풀어보고 싶다면 Solvesql를 방문하세요. 이번문제는 일별 블로그 방문자 수 집계이다. ga데이터를 다뤄보고 싶었던 터라 재밌게 푼 문제이다. 테이블이 제공되니 ga데이터를 구경하거나 만져보고싶으신 분들은 이번문제를 꼭 풀어보시길 바란다. 문제를 해석하면 2021년 8월 2일부터 8월 9일까지의 데이터를 추출한다. 일자별로 Group by가 되어야하므로 추출한 것들에서 기준이 되는 event_date_kst를 group by한다. 방문자수를 세는 문제이므로 중복되어 count되는 것들을 제거한다.(중복제거) 방문일 기준으로 오름차순으로 정렬한다. select event_date_kst as dt, count(distinct.. 공감수 0 댓글수 0 2022. 11. 29.
[SQL] 버뮤다 삼각지대에 들어가버린 택배 ❗ 본 포스팅은 Solvesql의 연습문제를 활용합니다. 다양한 SQL 문제를 풀어보고 싶다면 Solvesql를 방문하세요. 이번문제는 버뮤다 삼각지대에 들어가버린 택배이다. 문제를 해석하면 order_delivered_carrier_date는 배송이 시작된 시점, order_delivered_customer_date는 배송이 완료된 시점을 가지고 배송이 시작된 시점을 기준으로 2017년 1월과 배송완료가 안된 것들을 추출한다. 배송시작된 시점(’YYYY-MM-DD’)를 Group by하고 카운트 해준다. 배송시작된 시점 기준으로 오름차순 정렬한다. Group by를 알고있으면 쉽게 접근해서 풀 수 있는 문제이다. 아래는 테이블정보이다. select order_delivered_carrier_date a.. 공감수 0 댓글수 0 2022. 11. 28.
[ML] 회귀 평가방법 ❗ 본 포스팅은 AI-Tech Interview의 질문을 바탕으로 공부한 내용을 정리한 것입니다. Q. 알고 있는 metric에 대해 설명해주세요. ex) RMSE, MAE, recall, precision ... Metric은 크게 회귀(Regression)과 분류(Classification)으로 나누어서 이야기 할 수 있습니다. 이번에 공부한 내용은 회귀에 관한 metric이다. 회귀(Regression)에 대해 알아보자. 회귀는 간단하게 어떤 데이터가 위의 그림처럼 퍼져있으면 그 데이터를 적절하게 설명하는 선을 찾는 것을 이야기한다. 저기 위에 있는 주황색 포인트가 실제값들이고 예측값이라고 되어있는 선이 회귀선이다. 그리고 회귀선과 실제값들의 차이를 오차라고 한다. 그렇다면 우리가 해야하는 머신러닝.. 공감수 0 댓글수 0 2022. 11. 27.
[Algorithm] 숫자 짝꿍(python) ❗ 본 포스팅은 Programmers의 코딩테스트 연습문제를 활용합니다. 다양한 문제를 풀어보고 싶다면 Programmers를 방문하세요. 프로그래머스의 숫자 짝꿍문제이다. 위의 사진처럼 문제가 주어졌는데 문제를 해석해보았다. X하고 Y가 문자열로 주어진다. X와 Y의 공통된 숫자를 뽑아낸다. 뽑아낸 숫자들로 가장 큰 숫자를 만들어서 문자열로 출력한다. 처음에 X,Y를 반복문 돌려서 해결하려고 했는데 문자열로 3백만자가 들어가게 되면 당연히 시간초과가 난다.. 그래도 시도해봤는데 역시 시간초과.. from collections import deque def solution(X, Y): X = deque(list(X)) Y = deque(list(Y)) answer = '' for i in X: if i .. 공감수 0 댓글수 0 2022. 11. 25.
[SQL] 쇼핑몰의 일일 매출액과 ARPPU ❗ 본 포스팅은 Solvesql의 연습문제를 활용합니다. 다양한 SQL 문제를 풀어보고 싶다면 Solvesql를 방문하세요. 아래의 문제는쇼핑몰의 일일 매출액과 ARPPU 문제이다. 문제를 해석해보자. 2018년 1월 1일이후의 주문을 기점으로 파악해야한다. 일별로 결제 고객수, 매출액, ARPPU를 구한다. 매출일 기준으로 오름차순 정렬한다. 매출액과 ARPPU는 소수점 둘째자리까지 반올림한다. 테이블의 정의가 위처럼 되어있다. select order_purchase_timestamp as dt, count(distinct (customer_id)) as pu, round(sum(payment_value),2) as revenue_daily, round(sum(payment_value) / count(.. 공감수 0 댓글수 0 2022. 11. 24.
[SQL] 멘토링 짝꿍 리스트 ❗ 본 포스팅은 Solvesql의 연습문제를 활용합니다. 다양한 SQL 문제를 풀어보고 싶다면 Solvesql를 방문하세요. 아래의 문제는 멘토링 짝꿍 리스트 문제이다. 문제를 해석하보자. 멘티(신규입사자) 는 2021-12-31일로부터 3개월 이내에 입사자 즉, 2021-09-31이후로 입사한 사람을 찾으면 된다. 멘토는 입사한지 2년이상되는 직원이니까 2019년 12월 31일 이전에 입사한 사람을 찾으면 된다. 조건은 서로다른분야에 속한 직원끼리 멘토멘티를 엮어준다. 멘티기준으로 매칭이 없어도 출력해야한다,(left join) 멘티ID를 기준으로 오름차순, 동 순위일때는 멘토 ID기준으로 오름차순정렬 이런식으로 문제를 풀면 될 듯하다. 여기에서 조인의 개념이 들어가므로 SQL의 조인에 대해 모르겠으면.. 공감수 0 댓글수 0 2022. 11. 23.
[Algorithm] 행렬의 곱셈(python) ❗ 본 포스팅은 Programmers의 코딩테스트 연습문제를 활용합니다. 다양한 문제를 풀어보고 싶다면 Programmers를 방문하세요. 행렬의 곱셈이라는 문제이다. 이 문제를 풀기 위해서 우리는 행열의 연산을 알아야한다. 고등학교, 대학교때 배운 행렬의 곱셈을 떠올려보자. 행렬의 곱셈이 가능하려면 위의 그림처럼 행렬 A의 행 k와 행렬 B의 열 k가 같아야한다. 그래야 연산이 가능하다. ** 문제에서는 곱할 수 있는 행렬만 주어진다고 했으니 크게 고려할 사항은 아니다. 연산과정을 보면 a11*b11 + a12*b21 이 계산되어 하나의 원소가 만들어진다. 이런식으로 전부 계산하게 된다. 그렇다면 우리는 어떻게 문제를 풀어야 할까? 1. 연산되어 나오는 행렬의 사이즈(M*N)만큼 전부 0으로 초기화해준.. 공감수 0 댓글수 2 2022. 11. 18.
[SQL] MYSQL - DATE_FORMAT ❗ 본 포스팅은 Programmers의 SQL 고득점 Kit의 문제를 활용합니다. 다양한 SQL 문제를 풀어보고 싶다면 Programmers를 방문하세요. SQL문을 작성하다보면 날짜 형태의 값들을 만날 수 있다. 위의 사진처럼 PRODUCT_ID, IN_DATE, OUT_DATE가 대표적인 예이다. 이런 데이터 타입은 문자열로도 슬라이싱이 가능하다.(SUBSTR로 슬라이싱가능) -- Programmers 조건별로 분류하여 주문상태 출력하기 SELECT SUBSTR(IN_DATE,1,4) FROM FOOD_ORDER; 위 처럼 SQL을 작성하게 되면 '2022'만 쭉 출력되게 될 것이다. 이렇게 문제를 푸는것도 가능하다. 하지만 DATE끼리 비교를 하게 된다면 문자열로 슬라이싱하기가 조금 복잡해질 수 있.. 공감수 0 댓글수 0 2022. 11. 15.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.