티스토리

code name blue

검색하기

블로그 홈

code name blue

byebyeblue.tistory.com/m

byebyeblue 님의 블로그입니다.

구독자: 1

방명록 방문하기

주요 글 목록

elasticsearch : 일본어 형태소 분석기 kuromoji - analyzer (3) elasticsearch 6.4.3 version 5. kuromoji_readingform token filter (공식문서) kuromoji_readingform 토큰 필터는 가타카나 혹은 로마자 발음대로 결과를 리턴한다. 사전 정의된 kuromoji_readingform 필터를 사용할 때 use_romaji 항목을 true로 사용한다. 반대로 커스텀 kuromoji_readingform 필터를 사용하거나 가타카나 발음 결과를 리턴하고 싶을 경우 use_romaji 항목을 false로 사용하면 된다. PUT kuromoji_sample { "settings": { "index":{ "analysis":{ "analyzer" : { "romaji_analyzer" : { "tokenizer" : "ku.. 공감수 0 댓글수 0 2019. 11. 1.
elasticsearch : 일본어 형태소 분석기 kuromoji - analyzer (2) elasticsearch 6.4.3 version 3. kuromoji_baseform token filter (공식문서) kuromoji_baserform 토큰 필터는 동사와 형용사 용언의 원형을 복원한다. 한국어를 예로 들자면 '갔어', '가니까' 등의 동사를 기본형인 '가다'로 복원해준다. PUT kuromoji_sample { "settings": { "index": { "analysis": { "analyzer": { "my_analyzer": { "tokenizer": "kuromoji_tokenizer", "filter": [ "kuromoji_baseform" ] } } } } } } 위와 같이 tokenizer는 kuromoji_tokenizer로, filter는 kuromoji_base.. 공감수 0 댓글수 0 2019. 11. 1.
elasticsearch : 일본어 형태소 분석기 kuromoji - analyzer (1) elasticsearch 6.4.3 version kuromoji analyzer (공식문서) 일본어 형태소 분석기 kuromoji analyzer는 아래와 같은 tokenizer와 token filter로 구성되어있다. tokenizer는 각 단어(term/token)를 분리하는 역할을, token filter는 분리된 단어들을 검색 가능하게 가공하는 역할을 한다. kuromoji_iteration_mark character filter kuromoji_tokenizer kuromoji_baseform token filter kuromoji_part_of_speech token filter cjk_width token filter ja_stop token filter kuromoji_stemmer to.. 공감수 0 댓글수 0 2019. 10. 29.
elasticsearch : 일본어 형태소 분석기 kuromoji 설치 elasticsearch 6.4.3 version 1. 공식 가이드 https://www.elastic.co/guide/en/elasticsearch/plugins/6.4/analysis-kuromoji.html 2. 설치 방법 elasticsearch home directory로 이동 후 아래의 명령으로 설치한다. $ sudo bin/elasticsearch-plugin install analysis-kuromoji -> Downloading analysis-kuromoji from elastic [=================================================] 100% (...) -> Installed analysis-kuromoji 위와 같이 자동으로 설치가 진행되고, I.. 공감수 0 댓글수 0 2019. 10. 29.
elasticsearch : 검색 결과별 쿼리 (1) - from/size, sort elasticsearch 6.4.3 version elasticsearch를 사용하다 보면 다양한 검색 결과를 필요로 하게 된다. 이 때 사용할 쿼리들을 정리해 보았다. 1. from / size (공식문서) elasticsearch의 기본 from 값은 0, size 값은 10이다. 따라서 쿼리의 결과로 "hits"의 "total"이 21이 나와도 10개의 결과만 보여진다. 이 때 아래와 같이 size에 값을 지정하여 검색 결과의 최대값을 정할 수 있다. { "from":0, "size":30, "query":{ "match_all":{} } } 최대 30개의 결과가 표시되고, size의 최대값은 index setting의 index.max_result_window에 설정된 값을 초과하여 설정할 수 없.. 공감수 1 댓글수 0 2019. 10. 21.
elasticsearch : 다량의 데이터 넣기(bulk json insert) elasticsearch 6.4.3 version 다량의 데이터를 넣기 위해 사전에 "test_movie"라는 인덱스를 생성하고 'title' 필드를 매핑하였다. 이후 아래와 같은 형식으로 bulk_title.json 파일을 생성하였다. 1 2 3 4 5 6 { "index" : { "_index" : "인덱스명", "_type" : "타입명", "_id" : "1" } } { "title" : "About Time" } { "index" : { "_index" : "인덱스명", "_type" : "타입명", "_id" : "2" } } { "title" : "Eternal Sunshine" } { "index" : { "_index" : "인덱스명", "_type" : "타입명", "_id" : "3".. 공감수 0 댓글수 0 2019. 10. 8.
elasticsearch : mapping elasticsearch 6.4.3 version mapping이란? elasticsearch의 index에 들어가는 데이터의 타입을 정의하는 것이다. 미리 index를 생성하고 mapping을 지정하는 것이 좋지만, 사용자가 mapping을 정의하지 않더라도 elasticsearch에서 자동으로 데이터 타입을 mapping 해준다. index 생성하기 1 2 3 4 5 6 PUT /test/movie/1 { "title": "Eternal Sunshine", "director": "Michel Gondry", "genre": "Romance" } 'test'라는 인덱스에 'movie'라는 타입으로 위와 같은 데이터를 생성하였다. mapping 조회하기 1 GET /test/movie/_mapping '.. 공감수 0 댓글수 0 2019. 10. 4.
elasticsearch : elasticsearch 설치 & 환경설정 elasticsearch 6.4.3 version * elasticsearch 설치 이전에 java를 설치해야 한다! 1. 파일 다운로드 $ wget https://artifacts.elastic.co/downloads/kibana/elasticsearch-6.4.3-linux-x86_64.tar.gz 2. elasticsearch 설치 (파일 압축 해제) $ tar -xzvf elasticsearch-6.4.3-linux-x86_64.tar.gz 압축 해제 이후 .tar.gz 파일은 삭제한다. 3. elasticsearch 환경설정 1 (Bootstrap Check 통과) [1] max file descriptors 늘리기 - Mac OS / Linux 사용자에게만 해당 - open file descr.. 공감수 0 댓글수 0 2019. 10. 4.
elasticsearch : kibana 설치 & 환경설정 kibana 6.4.3 version 1. 파일 다운로드 $ wget https://artifacts.elastic.co/downloads/kibana/kibana-6.4.3-linux-x86_64.tar.gz 2. kibana 설치 (파일 압축 해제) $ tar -xzvf kibana-6.4.3-linux-x86_64.tar.gz 압축 해제 이후 .tar.gz 파일은 삭제한다. 3. kibana 환경설정 1) kibana config 디렉토리로 이동 $ 상기경로/kibana-6.4.3-linux-x86_64/config 2) kibana.yml 파일 편집 $ vim kibana.yml 3) 'server.host' 항목과 'elasticsearch.url' 항목 수정 - 형식 server.port: 5.. 공감수 0 댓글수 0 2019. 10. 2.
elasticsearch : 한글 형태소 분석기 nori 설치 elasticsearch 6.4.3 version 1. 공식 가이드 https://www.elastic.co/guide/en/elasticsearch/plugins/6.4/analysis-nori.html#analysis-nori nori는 6.4.0 버전 이후부터 설치가 가능하며, 공식에서 지원하는 플러그인이라 플러그인 매니저로 간편하게 설치가 가능하다. 2. 설치 방법 1 $ sudo bin/elasticsearch-plugin install analysis-nori 나의 경우 sudo: elasticsearch-plugin: command not found 라고 뜨면서 설치가 안되어서 찾아보니 elasticsearch 홈 디렉토리로 들어가서 설치해야 한다고 한다! 따라서 elasticsearch-p.. 공감수 0 댓글수 0 2019. 10. 2.
SQL이란? : 관계형 데이터베이스 알아보기 여러 데이터를 효율적으로 다루기 위해서 어떤 툴을 이용해야 할까? 현재 회사에서도 이용하고 있는 SQL을 우선적으로 공부 해 보기로 했다. 먼저 들어가기 전에 앞으로 자주 만나게 될 내용들을 간략하게 정리하기로 했다.데이터베이스란?데이터베이스는 컴퓨터에 저장된 데이터의 집합이다. 다량의 데이터에 손쉽게 접근하기 위해 여러 방법을 이용하게 된다. 데이터베이스는 아래와 같은 특징을 갖는다. 1. 사용자의 질의에 대하여 즉각적인 처리와 응답이 이루어진다.2. 생성, 수정, 삭제를 통하여 항상 최신의 데이터를 유지한다.3. 사용자들이 원하는 데이터를 동시에 공유할 수 있다.4. 사용자가 원하는 데이터를 주소가 아닌 내용에 따라 참조 할 수 있다.5. 응용프로그램과 데이터베이스는 독립되어 있으므로, 데이터의 논리.. 공감수 0 댓글수 0 2019. 5. 28.
파이썬 머신러닝/딥러닝 : numpy - 연산 Numpy 연산▶ Numpy 1차원 연산연산자를 이용할 경우에는 +, -, *, / 기호를 동일하게 사용한다.함수를 사용할 경우에는 덧셈 add(), 뺄셈 subtract(), 곱셈 multiply(), 나눗셈 divide()을 사용한다. 123import numpy as npa = np.array([1, 2, 3])b = np.array([4, 5, 6]) 1. 덧셈배열 a와 배열 b가 있을 때, a+b는 a[0]+b[0], a[1]+b[1], ... 와 같은 방식으로 결과를 return 한다. 12345678c = a+b#함수를 이용할 경우#c = np.add(a, b) print(c) #Result[5 7 9] 2. 뺄셈배열 a와 배열 b가 있을 때, a-b는 a[0]-b[0], a[1]-b[1],.. 공감수 0 댓글수 0 2019. 5. 22.
파이썬 머신러닝/딥러닝 : numpy - 슬라이싱, 인덱싱 Numpy 슬라이싱, 인덱싱▶ Numpy 슬라이싱 : 필요한 요소 자르기 1234567891011121314151617181920import numpy as nplist = [ [1, 2, 3], [4, 5, 6], [7, 8, 9]] arr = np.array(list) #numpy 배열로 만들기 a = arr[0:2, 0:2]print(a)#Result[[1 2][4 5]] b = arr[1:,1:]print(b)#Result[[5 6][8 9]] ▶ Numpy 인덱싱 : 필요한 값 가져오기 (1) 정수 인덱싱(integer indexing)Numpy 배열 a에 대해서 a[[row1, row2], [col1, col2]]는a[row1, col1]과 a[row2, col2]라는 두 개의 배열 요소의 집.. 공감수 0 댓글수 0 2019. 5. 22.
파이썬 머신러닝/딥러닝 : numpy - 배열 Numpy Numpy는 과학 계산을 위한 라이브러리로, 다차원 배열을 처리하는데 필요한 여러 기능을 제공한다.▶ Numpy 설치하기 1pip install numpycs ▶ Numpy 배열 - numpy에서 배열은 동일한 타입의 값들을 갖는다.- numpy에서 배열의 차원을 rank라고 하고, shape는 각 차원의 크기를 튜플로 표시한 것이다. ex) 2행, 3열인 2차원 배열은 rank = 2, shape(2, 3) ▶ Numpy 배열 생성 1. 파이썬의 리스트를 사용하는 방법 : array() 함수의 인자로 리스트를 넣어 생성한다. 12345import numpy as nplist = [1, 2, 3, 4]a = np.array(list) #array() 함수의 인자로 list를 넣는다print(a.. 공감수 0 댓글수 0 2019. 5. 21.
Python : 반복문 - while, for while 반복문 반복문은 어떠한 명령을 반복적으로 처리하는 것이다. 이런 명령을 루프(Loop)라고 한다. while 조건: 명령 num = 1 while num 100): break print(s) 위의 예제의 결과로는 92, 86, 54가 출력된다. 이후에 나오는 112가 if문의 조건에 맞지 않기 때문에 112 뒤의 수는 조건에 맞더라도 출력되지 않고 반복문을 빠져나와 반복이 종료된다. continue continue는 break와 별개로 조건문에 맞지 않는것이 있더라도 하나만 건너뛰고 선두로 다시 돌아가 루프를 계속 실행한다. score = [92, 86, 54, -1, 88] if s in score: if (s == -1): continue print(s) 위의 예제를 실행하면 -1의 값 하.. 공감수 0 댓글수 0 2019. 5. 6.
Python : 블록 구조 - elif문, if문 중첩 elif문 elif문은 if else문을 확장한 형태이다. if else의 선택지가 if와 else의 두 가지 라면, elif 문은 가운데에 elif를 두어 if와 else에 해당하지 않는 다른 여러가지 선택지를 제공해준다. if 조건1: 명령1 elif 조건2: 명령2 else: 명령3 조건1을 만족하면 명령1을 실행하고 전체 조건문이 완료된다. 조건1이 거짓이라면 조건2로 넘어가 참일 경우 조건2를, 조건1과 2가 모두 거짓이라면 명령3을 실행한다. num = 55 if num < 21: print("21보다 작아요") elif num < 52: print("52보다 작아요") else: print(num, "입니다") 위의 결과는 '55 입니다'로 나온다. num에 지정된 55라는 수가 두 조건을 .. 공감수 0 댓글수 0 2019. 4. 26.
Python : 블록 구조 - if문, else문 블록 구조 Python은 들여쓰기를 바탕으로 조건문이 참일 때 실행할 명령이 2개 이상일 경우 아래쪽으로 명령을 계속 나열한다. 즉, 들여쓰기 수준이 같다면 같은 블록으로 인식되어 조건에 모두 걸리게 되고 들여쓰기가 맞지 않는다면 조건과 상관 없는 별개의 문장으로 인식한다. if 조건문: 명령1 명령2 명령3 명령4 명령5 위에서 명령1~3은 하나의 블록으로, 명령4와 명령5는 블록 외부의 명령으로 인식된다. num = 3 if num < 5: print("5보다") print("작아요") 위의 실행 결과는 아래와 같다. print 명령이 같은 블록이기 때문에 두 개 모두 출력된다. 5보다 작아요 num = 3 if num < 2: print("2보다작아요") print("3입니다") 위의 실행 결과는 .. 공감수 0 댓글수 0 2019. 4. 26.
Python : 조건문 - if문 if문 조건문은 조건의 진위 여부에 따라 명령의 실행 여부를 결정하는 제어문이다. if문은 if 뒤의 조건이 참일때만 명령을 실행하며, 거짓일때는 무시한다. if 조건: 명령 이 때, 조건문 뒤에는 반드시 콜론(:)이 들어가야 하며, 명령문 앞 쪽은 들여 써야 한다. 비교 연산자 if문의 조건식에는 주로 변수값을 비교하는 문장이 오며, 변수가 특정 값인지를 평가한다. 비교 연산자는 두 값의 상등 여부나 대소관계를 비교하여 참, 거짓을 리턴하며 if문은 평가 결과에 따라 명령의 실행 여부를 결정한다. 연산자 설명 == 같다 != 다르다 좌변이 우변보다 크다 = 좌변이 우변보다 크거나 같다 대입 연산자 '='는 값을 변경하는 동작을 하고 비교 연산자 '=='는 값을 평가하는 역할을 한다. 즉, 좌변과 우변이.. 공감수 0 댓글수 0 2019. 4. 21.
Editor 사용하기! : vim - vimtutor로 공부하기 프로그래밍, 파이썬을 공부하며 이미 짜여진 코드를 한 줄 한 줄 일일히 타이핑 했었다. 물론, 한 줄씩 받아 쓰는게 나름의 공부도 되겠지만 엄청나게 긴 코드의 경우 중간에 잘못 타이핑 하거나 오류가 발생했을 때 다시 처음부터 작성해야 할 때도 있었다. 그 때 알게 된 것이 에디터(editor)다! 에디터란? 에디터란, 말 그대로 '편집기' 이다. 흔히 컴퓨터에서 사용하는 메모장, 워드패드 등, 어떤 파일을 생성하기 위한 것들을 모두 다 통틀어 에디터라 칭한다. 그리고 이렇게 에디터에서 엄청나게 긴 코드들을 작성하고 저장한 후, 한 줄의 명령어로 코드가 작성된 파일을 실행하면 된다! 대화형 인터프리터에서 만든 프로그램들은 인터프리터를 종료함과 동시에 사라지지만, 에디터로 만든 프로그램은 언제든지 바로 실행.. 공감수 0 댓글수 0 2019. 4. 18.
Shell 이란? : Shell의 정의와 종류 프로그래밍을 공부 하면서 가장 어려웠던 점이, 여태까지는 아이콘과 마우스 클릭으로 이루어 졌던 모든 일들이 다 몇 줄의 명령어로 수행해야 한다는 것이었다. 즉각적으로 눈에 보이는 구조가 아니라 머릿속에 내 나름대로 계속해서 구조를 인지하고 있어야 한다는 점이 익숙하지 않았다. 터미널 창을 띄우고 거기에 간단한 명령어들을 입력해 보면서 기초 예제들을 따라하기는 했지만, 기본적으로 이 시스템 자체에 대한 이해가 필요할 것 같아 그 중 'Shell'에 대해 정리 해 보기로 했다. Shell 이란? '셸(Shell)'은 사용자의 명령어를 해석하고 운영체제가 알아들을 수 있게 지시해주는 것으로, 사용자와 커널을 이어주는 것이다. '커널(kernel)'은 이와 같은 내용을 받아 하드웨어에 직접적으로 명령을 내려준다.. 공감수 5 댓글수 1 2019. 4. 13.
Python 강좌 및 유용한 사이트 모음 1. Python 알아가기 Wikibooks' Non-Programmers Tutorial for Python(2.6) https://en.wikibooks.org/wiki/Non-Programmer%27s_Tutorial_for_Python_2.6 The Official Python Tutorial https://docs.python.org/2/tutorial/ 2. 튜토리얼 점프 투 파이썬 https://wikidocs.net/book/1 거의 교과서 같은 책 엘리스 아카데미 https://academy.elice.io/explore 무료 강의가 있으니 기본적인 파이썬 입문에 도움이 될 것 같음 TheNewBoston's Python Programming Tutorials https://www.you.. 공감수 0 댓글수 0 2019. 4. 9.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.