본문 바로가기

분류 전체보기545

🎯[Lambda] 람다의 장점과 단점 | 콜드스타트와 동시성제한 사실 관련내용은 이곳에서도 정리했었다. 하지만 누군가에게 설명할 수 있을 정도의 수준이 되지 않아서 내가 가장 많이 사용하는만큼 다시한번 더 알아보았다. 2021.06.05 - 음악추천챗봇0. 왜 Serverless아키텍쳐인가? Lambda의 장단점-동시성 음악추천챗봇0. 왜 Serverless아키텍쳐인가? Lambda의 장단점-동시성 지금까지 한 작업은 이렇다. 1. Front - 카카오챗봇 기획작업 완료 2. Back - 스포티파이 API 파악 완료 이번엔 인프라를 구성해볼까 한다. 프론트와 백단을 이어줄 틀을 잡아준다라고 할까. 그전에 개 pearlluck.tistory.com Lambda란? 서버리스 컴퓨팅 서비스 프로비저닝 하거나 관리하지 않아도 코드를 실행할 수 있도록 해주는 컴퓨팅서비스이다... 2021. 8. 9.
[EMR] EMR이란? Elastic MapReduce 마스터노드 접속해보기 EMR이란? Elastic MapReduce, AWS에 제공해주는 완전관리형 빅데이터 플랫폼이라고 볼 수 있다. 하둡(MapReduce), Spark, Hive, Zeppelin 등 오픈소스 프레임워크를 가지고 클러스터를 쉽게 구축해주는 서비스이다. 여담으로 EC2도 Elastic Computing Cloud로 앞에 'Elastic'이 들어간다. 비슷한 느낌이다. EMR을 사용하면 뭐가 좋은가? 하둡이나 스파크 같이 널리사용되는 오픈소스 프레임워크를 규모에 구애받지 않고 원하는 용량으로 쉽게 생성가능 하둡클러스터의 설정관리 또는 컴퓨팅 파워와 용량에 대해 걱정하지 않고 데이터를 처리분석하는데 집중할 수 있다. -> 유연성과 확장성이 좋다 >>AWS공식문서 EMR사용시 이점 오토스케일링으로 클러스터를 확장.. 2021. 8. 8.
음악추천챗봇9. AWS EMR 클러스터구축(Hadoop+Spark+Zeppelin) 1.EMR클러스터구성 1.소프트웨어 구성 : EMR 5.29.0 : Spark2.4.4 / Hadoop 2.8.5 / Zeppeline 0.8.2 2.하드웨어 : 네트워킹 구성 확인. 내 test-vpc의 public subnet을 사용하고 싶어서 하드웨어 구성탭에서 지정했다. - 인스턴스 유형 : c5.xlarge (메모리가 좀 많이 필요해서 인스턴스 타입이 좀 높다) - 인스턴스 개수 : 3 (클러스터구성-마스터노드1개, 데이터노드2개) 3.일반옵션 - 클러스터 이름 - S3로깅장소 4. 보안 - 보안key : 인스턴스 접속 key를 지정해준다. - EC2보안그룹 : 마스터와 데이터노드에 접속하기 위해 해당 보안그룹이 생기는데, ssh접속을 위한 22포트도 추가한다. 5.클러스터생성 대기 -> 생성완.. 2021. 8. 7.
[Python] 코딩테스트 고득점Kit | 해시4-베스트앨범 cmp_to_key 정렬 아래의 문제는 프로그래머스 코딩테스트 고득점 Kit 내용이며 코드는 직접 푼 내용입니다. 베스트앨범 문제상황 요구사항 노래의 장르를 나타내는 문자열 배열 genres와 노래별 재생 횟수를 나타내는 정수 배열 plays가 주어질 때, 베스트 앨범에 들어갈 노래의 고유 번호를 순서대로 return 하도록 solution 함수를 완성하세요. 제한사항 genres[i]는 고유번호가 i인 노래의 장르입니다. plays[i]는 고유번호가 i인 노래가 재생된 횟수입니다. genres와 plays의 길이는 같으며, 이는 1 이상 10,000 이하입니다. 장르 종류는 100개 미만입니다. 장르에 속한 곡이 하나라면, 하나의 곡만 선택합니다. 모든 장르는 재생된 횟수가 다릅니다. 입출력 풀이과정 이전에 풀이방법과 거의 비.. 2021. 8. 4.
[Programming] Python과 Java 차이점 | 객체지향vs절차지향 면접에서 자주 물어보는 기초 질문이라 한번 정리해보려고 한다. 뭔가 보수적인 회사(?) 또는 코딩테스트가 없어서 개발능력을 팩트체크해보려고 할 때 아래처럼 질문을 받았다. Q: 자주 사용하는 개발언어가 무엇이냐 A: 파이썬입니다 Q: 파이썬밖에 할줄 모르나요? A: 아..자바도 조금할줄 압니다...! Q: 그럼 자바와 파이썬의 차이점은 무엇이죠? 근데 개인적으로 이런질문을 아니 이런질문을 하는 회사는 뭔가 답답한 느낌이 든다랄까.. 솔직히 개발언어는 각자 장단점이 있고, 스타일이 있어서 비교할만한 주제가 아닌것같은데.. (실제로 구글링해도 명확하게 구분한 글이 없네.) 그래도 기본을 짚고 넘어가는 목적으로 한번 알아보자. 자바(JAVA) 1. 객체지향 언어 데이터를 객체로 취급해서 기능들을 하나의 객체로.. 2021. 8. 4.
[Python] 코딩테스트 고득점Kit | 해시4-베스트앨범 (dict정렬) 아래의 문제는 프로그래머스 코딩테스트 고득점 Kit 내용이며 코드는 직접 푼 내용입니다. 베스트앨범 문제상황 요구사항 노래의 장르를 나타내는 문자열 배열 genres와 노래별 재생 횟수를 나타내는 정수 배열 plays가 주어질 때, 베스트 앨범에 들어갈 노래의 고유 번호를 순서대로 return 하도록 solution 함수를 완성하세요. 제한사항 genres[i]는 고유번호가 i인 노래의 장르입니다. plays[i]는 고유번호가 i인 노래가 재생된 횟수입니다. genres와 plays의 길이는 같으며, 이는 1 이상 10,000 이하입니다. 장르 종류는 100개 미만입니다. 장르에 속한 곡이 하나라면, 하나의 곡만 선택합니다. 모든 장르는 재생된 횟수가 다릅니다. 입출력 풀이과정 dict를 두개만들었다. .. 2021. 7. 31.
[LeetCode] 438. Find All Anagrams in a String -슬라이딩 윈도우 아래의 문제는LeetCode의 문제 내용이며 코드는 직접 푼 내용입니다. [LeetCode] 438. Find All Anagrams in a String 요구사항 Given two strings s and p, return an array of all the start indices of p's anagrams in s. You may return the answer in any order. 문자열2개(c,p)가 주어질때 p의 애너그램이 c의 어디위치에 나오는지 리턴 입출력예시 접근법 문자열을 애너그램단위만큼씩 짤라서 하나하나 애너그램인지까지 비교할 수도 있을 것이다. 하지만, 이번엔 슬라이딩 윈도우를 적용해보았다 결과 from collections import Counter def findAnagra.. 2021. 7. 29.
[백준][파이썬]21921.블로그 -슬라이딩윈도우 아래의 문제는 '백준'의 알고리즘 문제 내용이며 코드는 직접 푼 내용입니다. 21921. 블로그 문제 및 입출력 입출력예시 나의시도 앞에 부분합(구간합)알고리즘처럼 연속적인 x일동안 방문자수들의 합을 계산해두려고 했다. 연속적인 x일동안 방문자수는 i부터 i+x만큼 split하고 sum하면 되지 않을까 했다... 대신 그 i는 끝까지 안돌고 x뺀만큼 하고 인덱스니까 +1해서 거기까지..? 더보기 import sys input=sys.stdin.readline N,X=map(int,input().split()) data=list(map(int,input().split())) #구간합 알고리즘 변형 prefix_sum=[] #접두사합 배열 #접두사합 배열 계산 (X단위로 부분합저장) for i in rang.. 2021. 7. 29.
[백준][파이썬]11659.구간합구하기4 - 구간합(접두사합) 아래의 문제는 '백준'의 알고리즘 문제 내용이며 코드는 직접 푼 내용입니다. 11659.구간합구하기4 문제 및 입출력 입출력예시 나의시도 구간합알고리즘 적용 접두사합 배열을 만들어서, 부분합을 미리 계산해 두는 것이다. 그러면 i번째부터 j번째 수까지 합은 그 부분합배열[j] - 부분합배열[i-1]이 된다. import sys input=sys.stdin.readline n,m=map(int,input().split()) data=list(map(int,input().split())) #구간합 알고리즘 적용 sum_value=0 #부분합계산 prefix_sum=[0] #접두사합 배열 #접두사합 배열 계산 for i in data: sum_value+=i #부분합 prefix_sum.append(sum_v.. 2021. 7. 28.
[Docker] (보류) 도커허브에 이미지 배포 +TroubleShooting 지금까지 생성한 이미지를 도커허브에 배포한다. 마지막에 생성한 zeppelin 이미지가 전체적으로 java,ubuntu,spark,hadoop,zeppelin이 포함된 이미지가 된다. 그래서 이걸 도커허브에 올려보겠다. 그럼 다른사람들이랑 공유할 수 도 있고 내가 외부에 잇을떄 이걸로 가져올수도 있는것(깃처럼) docker 로그인 이미지배포 도커계정의 id,pw입력 가장 마지막에 생성한 zeppelin 이미지를 배포해볼 것이다 docker tag [push할 image ID or name] [docker hub ID]/[image name]:[version] docker push [docker hub ID]/[레파지토리]:[tag] 도커허브확인 Troubleshooting zeppelin에서 python.. 2021. 7. 27.

티스토리툴바