본문 바로가기

분류 전체보기545

[ELK] Flask 웹로그 분석해보기2-Flask 로그남기기 이렇게 docker로 간단하게 elk를 구성했다. 이제 내가 만든 웹서버를 켜서 로그를 보내려고한다. 그러니까 내가 만든 웹서버안에 로그를 남겨두면 된다. 아 그전에 EC2의 스펙을 늘렸다. 이전에 왠지모르게 ELK설치 후 계속 인스턴스가 버벅거렸다. 알고보니 docker로 ELK세팅을 할 경우 메모리가 최소2기가 이상 필요했다. 메모리가 2기가인 t2.small도 버벅거렸다. 그래서 결국 t2.medium 타입으로 인스턴스 스펙을 올렸다. >> elk구성시 물리적인 스펙에 관련해서 여기를 참고했다. Flask 추가설정 일단 테스트페이지에 대한 로그를 남겨두도록 Flask에서 추가로 설정했다. ( 이분 블로그참고) -app.py 수정 : 로그를 가져올 메인py(my_test.py) 를 라우트등록 -log.. 2021. 7. 9.
[카카오][Python]메뉴리뉴얼 아래의 문제는 카카오 채용 코딩테스트 내용이며 코드는 직접 푼 내용입니다. 메뉴리뉴얼 문제상황 요구사항 각 손님들이 주문한 단품메뉴들이 문자열 형식으로 담긴 배열 orders, "스카피"가 추가하고 싶어하는 코스요리를 구성하는 단품메뉴들의 갯수가 담긴 배열 course가 매개변수로 주어질 때, "스카피"가 새로 추가하게 될 코스요리의 메뉴 구성을 문자열 형태로 배열에 담아 return 하도록 solution 함수를 완성해 주세요. 제한사항 orders 배열의 크기는 2 이상 20 이하입니다. orders 배열의 각 원소는 크기가 2 이상 10 이하인 문자열입니다. 각 문자열은 알파벳 대문자로만 이루어져 있습니다. 각 문자열에는 같은 알파벳이 중복해서 들어있지 않습니다. course 배열의 크기는 1 이상.. 2021. 7. 9.
[카카오][Python] 키패드 누르기 아래의 문제는 카카오 채용 코딩테스트 내용이며 코드는 직접 푼 내용입니다. 키패드누르기 문제상황 요구사항 순서대로 누를 번호가 담긴 배열 numbers, 왼손잡이인지 오른손잡이인 지를 나타내는 문자열 hand가 매개변수로 주어질 때, 각 번호를 누른 엄지손가락이 왼손인 지 오른손인 지를 나타내는 연속된 문자열 형태로 return 하도록 solution 함수를 완성해주세요. 제한사항 numbers 배열의 크기는 1 이상 1,000 이하입니다. numbers 배열 원소의 값은 0 이상 9 이하인 정수입니다. hand는 "left" 또는 "right" 입니다. "left"는 왼손잡이, "right"는 오른손잡이를 의미합니다. 왼손 엄지손가락을 사용한 경우는 L, 오른손 엄지손가락을 사용한 경우는 R을 순서대로.. 2021. 7. 9.
[카카오][Python] 숫자문자열과 영단어 아래의 문제는 프로그래머스에서 푼 2021 카카오 채용 코딩테스트 내용이며 코드는 직접 푼 내용입니다. 숫자문자열과 영단어 문제상황 요구사항 이렇게 숫자의 일부 자릿수가 영단어로 바뀌어졌거나, 혹은 바뀌지 않고 그대로인 문자열 s가 매개변수로 주어집니다. s가 의미하는 원래 숫자를 return 하도록 solution 함수를 완성해주세요. 제한사항 1 ≤ s의 길이 ≤ 50 s가 "zero" 또는 "0"으로 시작하는 경우는 주어지지 않습니다. return 값이 1 이상 2,000,000,000 이하의 정수가 되는 올바른 입력만 s로 주어집니다. 입출력 풀이과정 1. 영단어->숫자로 매칭시키기 위한 dict이 필요하다 2. 매칭된 결과가 필요하다. 문자열로, 이어붙이면 되겠다 3. 숫자면 읽은 그대로 최종문.. 2021. 7. 9.
[카카오][Python] 문자열압축 아래의 문제는 카카오 채용 코딩테스트 내용이며 코드는 직접 푼 내용입니다. 문자열압축 문제상황 예를 들어, ababcdcdababcdcd 에 대한 리턴값을 찾는다고 하면 1개단위로 자르면 ababcdcdababcdcd 2개단위로 자르면 ab ab cd cd ab ab cd cd -> 2ab2cd2ab2cd 3개단위, 4개단위,, 등등 반복하다가 8개단위로 자르면 ababcdcd ababcdcd -> 2ababcdcd 이렇게 압축한 문자열들 중에 문자의 길이가 가장 짧은 문자를 찾는 것이다. 요구사항 압축할 문자열 s가 매개변수로 주어질 때, 위에 설명한 방법으로 1개 이상 단위로 문자열을 잘라 압축하여 표현한 문자열 중 가장 짧은 것의 길이를 return 하도록 solution 함수를 완성해주세요. 제한.. 2021. 7. 8.
주피터 노트북 (Jupyter Notebook) 아나콘다 없이 설치 주피터란? python기반의 데이터분석에 필요한 오픈소스를 모아둔 플랫폼을 웹에서 사용할 수 있는 웹서비스 사실 오픈소스를 모아둔 개발플랫폼을 사용하려면 아나콘다를 설치한다. 아나콘다가 가상환경관리자와 패키지관리자까지 제공해주는 가상 환경을 만들어서 사용할 수 있지만, 나는 혹오옥시나 모를 경로충돌 때문에 아나콘다 없이 그냥 주피터 라이브러리를 설치했다. 주피터를 사용하는 목적이 dataframe, numpy 등 라이브러리를 쉽게 사용하고, 그 결과를 라인별로 확인하는 것이기 때문이다. 설치방법 설치방법은 그냥 pip으로 패키지를 설치하는 것과 같다. 파이썬실행경로에 들어가서 pip3 install jupyter를 하면 된다. 실행방법 실행방법도 cmd에서 진행할 수 있다. 파이썬실행경로에 들어가서 ju.. 2021. 7. 7.
[Linux] /dev/loop0 가 많아서 용량이 다 찼을때 도커파일을 만들어서 실행하다가 이런 에러를 만났다. space가 없다고? write /var/lib/dpkg/info/libkdb5-9:amd64.list: no space left on device 원인 : 실제로 거의 디스크용량이 다 차고 있었다. 해결방법 하나하나 로그를 찾아서 지우자니 조금 번거롭고, 저 dev/loop를 가 걸리적거렸다. dev/loop 파일시스템이란? 지워도 상관없는건가? sudo apt autoremove --purge snapd 실행 바로정리가 됐따. https://finolo.gy/2019/11/%E8%A7%A3%E5%86%B3ubuntu%E4%B8%8A%E5%9B%9E%E7%8E%AF%E8%AE%BE%E5%A4%87-dev-loop0%E5%8D%A0%E7%94%A8100.. 2021. 7. 6.
[대표인터뷰] 카카오페이, '핀테크 플랫폼' 자신감의 근거 카카오페이 8월 상장예정예상 시가총액은 8조2천131억~12조5천152억원, 카카오페이의 기업가치는 '매출대비 기업가치 비교법'을 사용했다.카카오페이가 비교 대상으로 꼽은 곳은미국 간편결제 업체 페이팔홀딩스, 핀테크 솔루션 업체 스퀘어, 브라질 핀테크 플랫폼 업체 파그세구로 디지털 3곳이다.▲페이팔홀딩스 81.6배 ▲스퀘어 6.1배 ▲파그세구로 46.5배로 산출됐다카카오페이는 EV/Sales 값으로 이들 배수를 평균 계산한 44.7배를 제시했다 세 기업의 올해 1분기 매출액 규모는 ▲페이팔홀딩스 약 6조8천535억원, ▲스퀘어 약 5조7천448억원, ▲파그세구로 약 4천295억원 가량같은 기간 카카오페이의 매출액은 1천71억원예상 시가총액으로 비교해도 페이팔홀딩스의 387조3천226억원과는 32배~33.. 2021. 7. 6.
[ELK] Flask 웹로그 분석해보기1-Docker로 ELK Stack 설치 elk stack에 대해서 간단하게 알아봤으니, 직접 해보려고 한다. 수집할 웹은 이전에 개발했던 뉴스레터 구독서비스를 사용하기로 했다. 큰 로그는 없을것 같긴하지만, 일단 Flask로 개발한 웹서비스가 있으니 일단 해보자! Docker로 ELK Stack설치 ELK Stack 일일이 설치해도 되지만, 두렵고 엄두가 나지 않는다. (세상에서 제일 골치아픈 config..) 그래서 대부분 docker로 설치하는 듯하다. Elastic Search, Logstash, Kibana를 한번에 설치 할 수 있다! 훨씬 설치가 간단하고, 삭제도 깔끔하다. docker를 이용할 수 있는 모든 플랫폼에서 동일한 방식으로 적용이 가능한 이점이 있다 물론 docker말고 직접 레이어별로 설치를 해보면서 구성해볼 수도 있다.. 2021. 7. 6.
📊ELK Stack이란? Elastic Search, Logstash, Kibana ELK를 왜 쓰는가? 로그분석이 왜 필요한가? 사실 내가 진행한 상에선 굳이 로그분석을 할 필요는 없다. 참고한 프로젝트의 키바나 대시보드가 부러웠기에 초기 기획단계에서부터 해보고 싶었던 부분이였다. 뭔가 내가 말하고 상상하던걸 바로 이뤄내는 기분이라 왠지모를 성취감과 뿌듯함이 든다. 그렇다면 ELK를 사용해보고 싶어서 적용하는거긴한데, 실무적으로 왜 로그분석이 필요하고 ELK를 사용해야하는지 먼저 알아보았다. 일반적인 로그는 이렇게 TXT파일로 떨궈서 살펴보기도 한다. 나는 람다를 자주 사용해서 그런지 lambda cloudwatch에 찍히는 로그를 살펴봤지 이렇게 text파일론 보지 못했다. 그런데 이렇게 로그를 따로 관리하지 않고 이렇게 파일에 쌓아두게 되면 아래와 같은 문제점이 생긴다. 로그레벨 .. 2021. 7. 5.

티스토리툴바