본문 바로가기

분류 전체보기545

aws whats'new 뉴스레터 업그레이드0 | 구독신청 웹페이지 기획 2021.04.20 - AWS What's new 뉴스레터4 | 매주 화요일마다 메일이 전송됩니다~ 2021.05.04 - AWS What's new 뉴스레터5 | 작업스케쥴이 안돌아갔네?시작거부 저렇게 나만 사용할 수 있는 뉴스레터 서비스를 만들었는데, 이걸 조금더 확장하고 싶었다. 사실 별것도 아닌 서비스이지만 뭔가 접속로그나, 로그데이터들을 보고 싶은 마음이 더 컸다. 참고했던 글에서 Elastic Stack를 사용해서 로그 페이지를 직접 만들고 보는것이 가장 해보고 싶었다. 그래서 많은 사람들이 구독을 신청할 수 있는 웹 페이지를 만들고, 거기에서 메일을 받아서 저장하는 구조를 추가해서 업그레이드를 하려고 한다. 이분의 기술블로그 구독서비스를 참고했다. 출처 taetaetae.github.io/2.. 2021. 5. 10.
SQL코딩테스트 모든 문제 풀이 완료 이로써 프로그래머스에 있는 SQL 모든문제 풀이는 끝났다. 역시 SQL은 쉽다..이제 알고리즘 박살내야하는데.. 2021. 5. 6.
[Programmers] SQL코딩테스트8 | 우유와 요거트가 담긴 장바구니 프로그래머스SQL 뽀개기!! 일주일동안 매일 하나의 유형 다 뽀개기! 챌린지! 아래의 문제는 프로그래머스 문제 중 2021-Dev-Matching : 웹 백엔드 개발문제로 직접 푼 내용입니다. 1. 우유와 요거트가 담긴 장바구니 우유와 요거트를 동시에 구입한 장바구니의 아이디를 조회 이때 결과는 장바구니의 아이디 순 CART_PRODUCTS 테이블은 장바구니에 담긴 상품 정보를 담은 테이블 ID, CART_ID, NAME, PRICE는 각각 테이블의 아이디, 장바구니의 아이디, 상품 종류, 가격 풀이과정 처음에는 단순하게 Where name like 'Yogurt' and name like 'Milk'를 생각했다. SELECT CART_ID FROM CART_PRODUCTS WHERE NAME LIKE .. 2021. 5. 6.
[Programmers] SQL코딩테스트7 | 헤비유저가 소유한 장소 프로그래머스SQL 뽀개기!! 일주일동안 매일 하나의 유형 다 뽀개기! 챌린지! 아래의 문제는 프로그래머스 문제 중 2021-Dev-Matching : 웹 백엔드 개발문제로 직접 푼 내용입니다. 1. 헤비유저가 소유한 장소찾기 이 서비스에서는 공간을 둘 이상 등록한 사람을 "헤비 유저"라고 부릅니다. 헤비 유저가 등록한 공간의 정보를 아이디 순으로 조회 hostid당 id를 2개이상 등록한 유저를 헤비유저라 칭한다 원하는 결과물 내가 처음에 제출했던 결과는 이랬다. 즉, hostid에 해당하는 group by로 묶어서 한번에 ID가 각각 나오는게 아니라 합쳐지는 것이였다. 결국, 헤비유저로 채택된 host id를 먼저 뽑고, 그 host id 에 해당하는 내용을 select하면 되니까 서브쿼리를 적용했다... 2021. 5. 6.
AWS What's new 뉴스레터5 | 작업스케쥴이 안돌아갔네?시작거부 2021.04.16 - AWS What's new 뉴스레터1 | MongoDB를 써볼까?! 2021.04.18 - AWS What's new 뉴스레터2 | 이메일 전송 사전준비 및 이해 2021.04.18 - AWS What's new 뉴스레터3 | 크롤링데이터를 이메일로 전송하기 2021.04.20 - AWS What's new 뉴스레터4 | 매주 화요일마다 메일이 전송됩니다~ 한동안 잊고 있었다. 생각해보니 매주 메일이 와야하는데 안오고 있었다. 단 한번도 크론이 실행되지 않았다는 것! 이상해서 작업스케쥴러 히스토리를 봤다. 윈도우 작업스케쥴러로 매주 화요일마다 이벤트를 걸어놨었따. 하지만 마지막실행결과에는 '운영자 또는 관리자가 요청을 거부했다'는 메세지가 남아있다. 마지막실행시간을 보면 매주 실행.. 2021. 5. 4.
정점을 찍다? 방점을 찍다! 비슷한 단어인듯하지만 혼자서 추측해본 차이점 정점은 원래하던 분야에서 기어코 끝끝내 최고의 경지에 이를때?방점은 원래하던 분야가 아니라 다른분야 여러분야에서 최고의 경지에 이를때 쓰나? 정점이란?맨꼭대기가 되는곳 또는 사물의 진행이나 발전이 최고의 경지에 달한 상태 - 표준국어대사전-그래서 정점을 찍다라고 하면 최고경지에 이르렀을때 흔히 쓰이는 관용어구 표현이다.그런데 그럼 방점은 무엇일까?방점이란훈민정음이 처음 만들어졌을때 한글표기법에 쓰던 '성조'를 나타내던 기호다. -위키백과-그리고 표준국어대사전에는 이런 의미가 있다.글가운데에서 보는 사람의 주의를 끌기 위하여 글자 옆이나 위에 찍는 점 즉, 방점을 찍다는 관용어구는 무엇이 어떤점에서 관심을 집중할때 쓰이는 의미로 사용된다. 2021. 4. 30.
[Python] Pandas 사용법 pd_data=pd.DataFrame.from_dict(dict_data,orient='index') pd_data=pd_data.transpose() result = pd.concat(data_list,ignore_index=True) stml.tistory.com/18 [pandas] append & concat-여러 텍스트 파일을 for 문으로 불러서 하나로 합치기 연도별로 같은 변수를 가진 데이터가 있다. year라는 열을 새로 만들면서 전체 파일을 하나로 합치고 싶음. - 숫자부분을 의미하는 정규표현식 %d 라는 표현을 써서 폴더명의 뒤에 년도 부분이 계 stml.tistory.com +각자 하나씩 dataframe을 갖고 있었는데, 그래프를 그리기 위해서 하나의 데이터프레임으로 만들어야했다. .. 2021. 4. 28.
[Spark] Apache Spark 실행하기 | Local에서 Spark설치 와 이제 본격적으로 spark를 설치해서 해볼 준비가 되었다. 오늘의 목표는 Spark설치하기..그냥 무작정해보기.. * pyspark와 spark차이점은? * pyspark를 쓰려면 그냥 spark는 다운받지 않아도 되는건가? * 왜 하둡을 받아야하는거지? * spark를 시작하려면 코드를 처음에 어떻게 써야하지? 근데 아직 감을 잡지 못했다. 아직 잘 와닿지 않는다. Spark 설치하기 나는 python으로 spark를 사용할 것이다. 즉, pyspark를 사용할꺼다. 간단하게 python에서 pip으로 설치하면 바로 spark를 쓸 수 있다고 생각했다. (현재 로컬환경은 python,java이미 설치된 상태) 물론 되긴 되지만, winutils도 없고, 하둡 디렉토리를 가져올수 없다며 하둡환경이 아.. 2021. 4. 22.
[Spark] Apache Spark란? | 구조 및 동작방식 앞서 Apache Spark의 정의를 파악하기까지 나름 머나먼 여정이였다. 2021.04.21 - Apache Spark란? | Spark정의를 알아보기까지 빅데이터흐름 2021.04.21 - Apache Spark란? | 빅데이터 처리단계 -수집과 저장/ETL/HBase 2021.04.22 - Apache Spark란? | 빅데이터 처리단계-분산처리/하둡/맵리듀스 이제 본격적으로 Spark를 알아보려고 한다. Spark는 4가지 기능을 제공한다. 또한 Scala언어로 만들어졌지만, Java, R,Python 등 프로그래밍 언어API도 제공한다. 머신러닝을 위한 ML Lib 실시간 처리와 방대한 연산을 위한 Structured Streaming도구 구조화된 데이터를 처리하기 위한 Spark SQL 그래프.. 2021. 4. 22.
[Spark] Apache Spark란? | 빅데이터 처리단계-분산처리/하둡/맵리듀스 spark를 알기위해 거의 다왔다. 빅데이터 처리단계로 수집과 저장단계를 지나 처리단계이다. 처리 데이터분석을 하기에 앞서 몇가지 데이터처리가 필요하다. 즉 분산처리가 필요하다. 병렬처리 vs 분산처리 분산처리란 해야하는 한가지 일을 여러 컴퓨터들에게 나누어서 동시에 처리한 뒤 한곳으로 모으는 방법이다.. cpu들을 네트워크로 연결하여 전체적인 일을 부분부분으로 나누니까 더 빨리 처리할 수 있다. 병렬처리란 동시에 많은 계산을 하는 방법이다. 여러일을 동시에 한꺼번에 처리하는 것이다. 이 둘의 공동점은 일을 '동시에' 처리한다는 것이다. 하지만 분산처리는 동시에 여럿이서 하나의 일을 하고, 병렬처리는 동시에 여러일을 처리한다. 어떻게 처리하는데? 처리방법이 있나? 1.일괄처리(Batch 처리) 컴퓨터 프.. 2021. 4. 22.

티스토리툴바