본문 바로가기

분류 전체보기545

스크래핑 기술 vs 크롤링 크롤링 여러 인터넷 사이트의 페이지(문서,HTML)를 수집해서 분류 하는것 대체로 찾아낸 데이터를 저장한 후 쉽게 찾을 수 있게 인덱싱 일종의 스크래핑 기술 자동화된 웹크롤러가 정해진 규칙에 따라서 데이터를 수집? ​ 스크래핑 HTTP를 통해 웹사이트 내용을 긁어다 원하는 형태로 가공하는것 웹사이트의 데이터를 수집하는 모든 작업 원하는 부분을 자동으로 추출 및 수집? 출처 2020. 1. 22.
🚀 DB JOIN 정리(INNER/LEFT/RIGHT/OUTER) join(조인)둘 이상의 테이블을 연결해서 데이터를 검색하는 방법연결하려면 테이블들이 적어도 하나의 컬럼을 공유하고 있어야함이 공유하고 있는 컬럼을 PK 또는 FK값으로 사용​ 종류1. INNER JOIN : 내부조인 ->교집합2. LEFT/RIGHT JOIN -> 부분집합3. OUTER JOIN : 외부조인 ->합집합오라클은 OUTER JOIN있지만, MYSQL은 없어서 LEFT조인 + RIGHT조인 ​​ 예를 들어 두가지 테이블(T1,T2)이 있다고 하면, 이걸로 join결과를 그림으로 그려보면서 복습해보자 AIDENAME1AAA2BBB3CCCBIDKNAME1가2나4라5마 1. INNER JOIN : 교집합, 공통적인 부분만 SEELCT됨 ​IDENAMEKNAME1AAA가2BBB나SELECT A.ID.. 2020. 1. 21.
SQL 기본문법정리1(DDL/DML/DCL/TCL) 데이터 정의어(DDL) 테이블의 구조를 정의함 CREATE, ALTER, DRTOP,TRUNCATE 데이터 조작어(DML) 데이터 조회/삽입/삭제/변경 SELECT, INSERT, UPDATE ,DELETE 데이터 제어어(DCL) 데이터베이스에 접근권한 GRANT, REVOKE 트랜잭션 제어어(TCL) 트랜잭션 제어명령어 COMMIT, ROLLBACK, SAVEPOINT 1. DDL 데이터정의어 1) 테이블 생성 : CREATE문 create table tr_test( id int not null auto_increment, name varchar(10) not null not null, primary key(id) ) 2) 테이블 삭제 : DROP문 DRTOP table tr_test; 3) 테이블 삭.. 2020. 1. 20.
[Mysql아키텍쳐2] 스레드구조/IO매커니즘/InnoDB 내부구조 내부적으로 어떻게 작동는지 이해하기 출처 RealMysql 서적을 기반으로 이해한 내용 정리 1. Mysql스레딩구조 MySQL서버는 프로세스 기반이 아니라 '스레드'기반 (클라이언트 별로 커넥션을 주면서, 다수의 클라이언트가 연결되는 멀티스레드방식) 1) 포그라운드 스레드(클라이언트 스레드) 몇개? 최소한 서버에 접속된 클라이언트 수만큼 존재 무슨일? 사용자가 요청하는 쿼리문장을 처리하는 역할 어떤 요청이 있는데? 데이터를 MySQL의 데이터 버퍼에나 캐시로 부터 가지고 오는거, 버퍼나 캐시에 없으면 직접 디스크의 데이터나 인덱스 파일에서 읽어오는 작업 스토리지엔진에 따라 포그라운스레드가 하는일이 다름! MyISAM : 읽기 작업을 주로 하기 때문에 '디스크' 쓰기 작업까지 함 InnoDB : 데이터 .. 2020. 1. 20.
[Mysql 아키텍쳐1] 커넥션풀/Mysql엔진/스토리지엔진 내부적으로 어떻게 작동는지 이해하기 출처 RealMysql 서적을 기반으로 이해한 내용 정리 2020.01.19 - [Mysql 아키텍쳐1] 커넥션풀/Mysql엔진/스토리지엔진 2020.01.20 - [Mysql아키텍쳐2] 스레드구조/IO매커니즘/InnoDB 내부구조 2020.01.22 - [Mysql아키텍쳐3] InnoDB특징/MyISAM특징 1. 전체구조 1) 기본적으로 client-server구조 다수의 Client들이 하나의 DB 서버에 연결되는 구조 -> 클라이언트별 Connection 처리 -> 스레드증가 -> 멀티스레드 방식 이때 클라이언트가 접속해서 DB연결할 때 Connection Pool사용 왜 커넥션 풀을 사용해야하지? 한명의 클라이언트가 수행하는 DB커넥션도 많은데 클라이언트가 접속.. 2020. 1. 19.
정형데이터 vs 비정형데이터 (RDBMS VS NOSQL) 데이터를 구분하는 기준 1. 스키마 형태의 유무 (+스키마란? 데이터베이스를 구성하는 요소들 개체,속성,관계, 제약조건 등) 2. 연산가능 여부 (+연산이란? 데이터베이스와 통신하기 위해 SQL언어사용) 정형데이터 스키마 구조라는 특정한 형태를 가지고 있다.(ER모델로 관계를 정의가능) (+스키마 구조? 어떤 데이터가 테이블에 들어가고, 안들어가고를 정의하는 필드집합) 연산이 가능하다(관계 정의가 가능하다)(트랜잭션을 수행함) 마리아/오라클/MySQL과 같은 RDBMS에 저장합니다. 비정형데이터 스키마 구조라는 형태 없음(텍스트나 영상데이터처럼 특정한 형태가 없음) 연산도 불가능합니다.하지만 필요한 형식으로 저장이 되는 유연한 구조로 몽고디비와 같은 NoSQL에 저장합니다. 반정형데이터 정형데이터처럼 특.. 2020. 1. 19.
유튜브 프리미엄 뮤직 진작할껄, 멜론에서 갈아탄다 유튜브프리미엄 1개월 무료체험중인데 앞으로 멜론에서 갈아탈것같다.실시간 차트보다 내가 원하는! 나에게 맞는 음악서비스를 원하기 때문에https://pearlluck.tistory.com/33 음원사재기 뿌리뽑기? '못'하는게 아니라 '안'하는거다음원사재기 이번 논란이 처음이 아니였다. 그니까 5~6년째 변함이 없다는 이야기다. 이번만큼은 바뀌었으면 좋겠다. 그런의미로 뉴스기사(출처: 대중음악평론가)를 바탕으로 이번 사재기에 대한 의견을 정리를 해..pearlluck.tistory.com 1. 유튜브 -> 유튜브 프리미엄으로 바뀌면 뭐가 좋은지?1) 광고가 뭐죠? 광고1도없음유튜브를 자주보는 사람은 공감할수도 있는데'광고'가 은근히 매우 많이 빡치는 불편함이다.언제?(사실 언제 광고봤는지, 무슨케이스였는지.. 2020. 1. 18.
[NetWork/Web] 쿠키와 세션차이점 (+캐시) 쿠키 : 사용자의 브라우저에 저장 http통신을 할 때 http 헤더에 포함된 파일들 (이름 값 만료기간, 경로정보) 해당 사용자의 컴퓨터를 사용하기만 하면 쿠키에 입력된 값을 쉽게 확인할 수 있음->보안성낮음 클라이언트->서버 : request 서버->클라이언트 : 쿠키가 없음, 통신상태를 저장한 쿠키 response 클라이언트가 이 정보를 저장하고 있음 ->쿠키 다음 연결부턴 클라이언트->서버 : 쿠키를 넣어서 요청 세션 : 서버에 저장되는 쿠키 클라이언트와 서버의 통신상태, 중요한 데이터들 저장 브라우저를 종료할때까지 유지됨 서버에 직접 저장되서 보안성이 높음 -->로그인정보유지에 사용되는 정보 클라이언트->서버 : 세션id발급 서버->클라이언트 : 세션id를 쿠리를 이용해서 저장 클라이언트가 다시.. 2020. 1. 17.
[NetWork/Web] get방식 vs post방식 차이점 HTTP 웹상에서 클라이언트와 서버간에 요청/응답으로 데이터를 주고받는 프로토콜 클라이언트가 HTTP 프로토콜을 통해서 서버서에 요청을 보내면 서버는 요청에 맞는 응답을 클라이언트에게 전송한다. 이때 HTTP메소드 : 서버가 요청을 수행할 행동 그 중 하나인 GET방식 POST방식 공통점 클라이언트와 서버간에 요청/응답을 주고받는 메소드 중 하나 HTTP프로토콜을 사용하여 웹페이지->서버로 정보를 전송하는 방식 GET 방식 URL의 끝에 전송할 데이터의 파라미터를 붙여서 서버로부터 정보를 요청 요청을 전송할때 필요한 데이터를 쿼리스트링을 통해 전송 서버로부터 정보를 '조회'할때 사용 사용예시 : 로그인 -> 로그인정보를 서버에 select하는 용도, 전송해서 일치하는지 확인 EX) www.example-.. 2020. 1. 17.
카카오뱅크, 저금통 서비스(잔액 : 자판기커피->막대사탕) ++추가 실시간현황 자판기커피(19.12.12) : 천원미만 추정++추가 실시간현황 막대사탕(20.1.17) : 천원이상 추정 얼마가 모엿는지 알수 없게 이미지로 표시한다고 하지만 발견했다. 얼마가 모였는지 그냥 카카오뱅크 저금통에 얼마 모였는지 재미로 확인해보는 용~ 나는 돈을 쓰는 것보다 모으는 재미를 더 크게 느낀다.그런데 계속해서 더 모으고 싶다 이런마음은 안든다.가만 생각해보면 저축금액이 단순히 '숫자' 로 보여지기 때문인것 같기도 하다. 그래서 이걸 좀더 재미있게 시각적으로 보이면, 실제로 돈이 쌓이고 있다는걸 보여주면 더 저축하지 않을까? 라고 생각하던 찰나!카카오뱅크의 저금통서비스는 딱 내가 생각하던 것​그래서 출시되자마자 바로 가입! 가입하고 나서 내 저금통을 보면! 이렇다!​지금 내.. 2020. 1. 17.