본문 바로가기

분류 전체보기545

[데엔스터디5] Airflow Deep Dive 데이터엔지니어링 스타터 키트 -5주차 후기 아래의 내용은 직접 유료강의를 수강하고, 배운점 및 추가로 공부한 내용을 기록한 내용입니다. 프로그래머스에서 진행하는 실리콘밸리에서 날아온 데이터엔지니어링 스타터키트 강의추전! 트랜잭션 상태를 변화시키는 하나의 작업단위 - AutoCommit 이 True인 경우 기본적으로 작성한 SQL 한줄한줄이 다 자동으로 커밋이 되서 DB에 바로바로 적용이 된다. 명시적으로 트랜잭션을 구현하기 위해선 BEGIN과 END구문 사이에 몇가지 쿼리를 넣는다. 그래서 그 몇가지 쿼리들을 하나의 작업단위(하나의 트랜잭션)으로 취급해서 다같이 성공해야 커밋이 되서 DB에 적용. - AutoCommit이 False인 경우 한줄한줄이 다 트랜잭션이 되서 BEGIN~END구문이 필요하지 않.. 2021. 9. 8.
[Setting] [VScode] AWS EC2 (Linux) SSH 접속하기 원래 IDE 툴로 ATOM을 썼는데 최근에 코파일럿때문에 자동완성이 편해보여서 VS 코드로 갈아탔다! 그리고 뭔가 기분탓인진 모르겠지만 ATOM보다 VS코드가 가벼운 느낌이 든다! 2021.07.02 - 🌱깃허브 코파일럿(Github Copilot), AI가 코드 대신 짜준다!?@ 🌱깃허브 코파일럿(Github Copilot), AI가 코드 대신 짜준다!?@ 코드제안서비스, 깃허브 코파일럿 깃허브가 AI를 기반으로 작성 중인 코드를 분석해 적절한 코드를 제안하는 서비스를 공개했다. 소스코드 편집기에서 작성 중인 코드, 주석, 함수 등을 분석해 pearlluck.tistory.com 그만큼 vs코드에서 지원해주는게 많은데 이번엔 VS코드에서 원격접속으로 AWS의 Linux에 접속하는 법을 메모해두려고 한다.. 2021. 9. 8.
🐘 [Docker] 빅데이터환경구성 (최종) - Hadoop&Spark 설치 docker에서 하둡/스파크 설치를 위한 첫번째 도전... 2021.07.27 - [Docker] 빅데이터 분석환경 구성1-Ubuntu&Java설치 2021.07.27 - [Docker] 빅데이터 분석환경구성2-Hadoop 2.7.7 2021.07.27 - [Docker] 빅데이터 분석환경구성3-Spark 3.0설치 2021.07.27 - [Docker]빅데이터 분석환경 구성4-Zeppelin0.9 설치 이번엔 두번째 도전이다... 첫번째 도전일때도 되긴되었지만, 뭔가 뭣모르고 따라한 기분이랄까..? 그래서 뭔가 찜찜한 기분이 들엇다. 그런데 이번 두번째 설치를 함으로써 이제 어느정도 알 것 같다. 역시 한번해보는거랑 두번해보는거랑 달라......그리고 그때 안됐던 웹UI도 다 확인해볼수 있었다..! 1.. 2021. 9. 7.
[python] Class와 __init__함수 Class() 클래스 객체(object)를 만들어내기 위한 틀? 클래스 없이 단순히 def(함수)로만 정의할수도 있지만, 함수가 많아지면 관리하기 힘들어지니까 비슷한 종류?카테고리?의 함수들끼리 class로 묶어서 정의하는걸 권장 #클래스 없이 함수로만 정의할 경우 def some_function(something): print(something) #클래스로 정의할 경우 class SomeClass: def __init__(self,something): self.something = something def some_function(self): print(self.something) __init__ 함수 클래스로 생성된 걸 보면 __init__ 이라는 내장함수가 필요하다. 인스턴스화를 할때 반드시 처음에.. 2021. 9. 6.
[python] Django에서 절대경로 __file__ 로 지정하기 (os.path) django 프로젝트를 진행하던중 로컬 디렉토리에 있는 파일을 읽고 쓰는 작업이 많았다. 그런데 이상하게 상대경로로 지정할 경우 오류가 났고, 절대경로를 직접 지정했을때 정상적이였다... 하지만 코드에 이렇게 지정하게 되면 환경마다 계속 코드를 수정해야하는 문제점이 있을 것이다. 그래서 검색을 통해 알게된 파이썬 디렉토리 절대경로 지정하는 방법! Django에서 유용하다! BASE_PATH = os.path.dirname(os.path.abspath(__file__)) __file__ : python의 예약어로, 현재 실행되는 스크립트 파일 위치 os.path.abspath(path) : 절대경로 반환 os.path.dirname(path) : path의 상위 경로까지 포함해서 반환 그래서 아예 base.. 2021. 9. 6.
Amazon Corretto로 java설치하기 (OpenJDK 다운로드) hadoop은 자바기반이라서 JVM위에서 동작한다. 그래서 사전에 java설치가 필요한데, openjdk를 오라클에서 받을 경우 막혀서 wget이 안됐었다.. 결국 windows에서 받은걸 복사해서 막 번거롭게 했는데.. 좋은방법을 알게 되서 기록해본다. Amazon Corretto OpenJDK(Open Java Development Kit)의 프로덕션 준비가 완료된 무료 멀티플랫폼 배포판. Corretto를 사용하면 Amazon Linux 2, Windows 및 macOS와 같은 운영 체제에서 Java 응용 프로그램을 개발하고 실행할 수 있습니다. https://docs.aws.amazon.com/corretto/latest/corretto-11-ug/what-is-corretto-11.html Wh.. 2021. 9. 6.
[텍스트분석3.2] BOW피쳐 벡터화 - TfidfVectorizer 요즘 추천시스템이랑 텍스트분석쪽에 관심이 생겨서 책을 찾아보았다. 사실 이미 한번 프로젝트(?)로 수행했지만 훑어보고 간단하게 넘어간것 같아서.. 다시한번 짚어보는 목적! 튼튼한 기본이 단단한 기초가 중요하니까! 아래의 내용은 파이썬 머신러닝 완벽가이드의 책의 [8.텍스트분석] 읽고 정리한 내용입니다 이전에 살펴본 텍스트분석 프로세스에 따라 두번째 단계인 피쳐 벡터화 작업! 를 살펴본다. 텍스트 사전준비 (텍스트 전처리) : 텍스트를 벡터로 만들기 전에 토큰화작업 피쳐 벡터화/추출 : 가공된 텍스트에서 피쳐를 추출하고, 여기에 벡터값을 할당하는 작업 ML모델 수립 및 학습/예측/평가 : 피쳐 벡터화된 데이터세트에 ML모델을 적용 이전에 BOW피쳐에 알아본 BOW피쳐 벡터화 첫번째 방법인 Count기반에 .. 2021. 9. 5.
[텍스트분석3.1] BOW피쳐 벡터화 - CountVectorizer 요즘 추천시스템이랑 텍스트분석쪽에 관심이 생겨서 책을 찾아보았다. 사실 이미 한번 프로젝트(?)로 수행했지만 훑어보고 간단하게 넘어간것 같아서.. 다시한번 짚어보는 목적! 튼튼한 기본이 단단한 기초가 중요하니까! 아래의 내용은 파이썬 머신러닝 완벽가이드의 책의 [8.텍스트분석] 읽고 정리한 내용입니다 이전에 살펴본 텍스트분석 프로세스에 따라 두번째 단계인 피쳐 벡터화 작업! 를 살펴본다. 텍스트 사전준비 (텍스트 전처리) : 텍스트를 벡터로 만들기 전에 토큰화작업 피쳐 벡터화/추출 : 가공된 텍스트에서 피쳐를 추출하고, 여기에 벡터값을 할당하는 작업 ML모델 수립 및 학습/예측/평가 : 피쳐 벡터화된 데이터세트에 ML모델을 적용해 학습/예측/평가 수행 BOW (Bag of Words) 모델이란? 문서가 .. 2021. 9. 5.
[텍스트분석] 02. 텍스트 사전준비 (텍스트 전처리) 요즘 추천시스템이랑 텍스트분석쪽에 관심이 생겨서 책을 찾아보았다. 사실 이미 한번 프로젝트(?)로 수행했지만 훑어보고 간단하게 넘어간것 같아서.. 다시한번 짚어보는 목적! 튼튼한 기본이 단단한 기초가 중요하니까! 아래의 내용은 파이썬 머신러닝 완벽가이드의 책의 [8.텍스트분석] 읽고 정리한 내용입니다 이전에 살펴본 텍스트분석 프로세스에 따라 첫번째 단계인 텍스트사전준비! 를 살펴본다. 텍스트 사전준비 (텍스트 전처리) : 텍스트를 벡터로 만들기 전에 토큰화작업 피쳐 벡터화/추출 : 가공된 텍스트에서 피쳐를 추출하고, 여기에 벡터값을 할당하는 작업 ML모델 수립 및 학습/예측/평가 : 피쳐 벡터화된 데이터세트에 ML모델을 적용해 학습/예측/평가 수행 텍스트 자체를 피쳐로 바로 만들수 없다. 그래서 사전에 .. 2021. 9. 4.
[텍스트분석] 01.텍스트 분석 수행 프로세스 요즘 추천시스템이랑 텍스트분석쪽에 관심이 생겨서 책을 찾아보았다. 사실 이미 한번 프로젝트(?)로 수행했지만 훑어보고 간단하게 넘어간것 같아서.. 다시한번 짚어보는 목적! 튼튼한 기본이 단단한 기초가 중요하니까! 아래의 내용은 파이썬 머신러닝 완벽가이드의 책의 [8.텍스트분석] 읽고 정리한 내용입니다 NLP란? National Language Processing 머신이 인간의 언어를 이해하고 해석하는데 중점을 둔 기술로, 텍스트분석을 향상하게하는 기반기술. NLP가 발전하면서 텍스트 분석도 정교하게 발전하는 중이다. 예를 들면, 텍스트를 구성하는 언어직인 룰이나 업무의 룰에 따라 분석하는 룰기반 시스템 -> 머신러닝의 텍스트 데이터를 기반으로 모델을 학습하고 예측하는 기반으로 변경 텍스트분석이란? 머신러.. 2021. 9. 4.

티스토리툴바