티스토리

Hello, world!

검색하기

블로그 홈

Hello, world!

joonsei.tistory.com/m

IT 개발자의 소소한 기술 이야기.

구독자: 0

방명록 방문하기

주요 글 목록

failed to obtain in-memory shard lock 문제 발생샤드 할당에 대한 메모리 내 잠금(OpenSearch Service에 설정된 임계값 이내)을 얻지 못하면 다음과 같은 오류 메시지해결 방법노란색 클러스터 상태 문제 해결클러스터가 노란색 상태로 전환되도록 하는 인덱스를 식별하려면 다음 쿼리를 사용curl -XGET "localhost:9200/_cat/indices?v&health=yellow"그런 다음 클러스터 할당되지 않은 샤드의 근본 원인을 확인하려면 다음 쿼리 사용curl -XGET "localhost:9200/_cluster/allocation/explain" 최대 재시도 설정 늘리기 클러스터를 녹색 상태로 되돌리려면 각 노란색 인덱스의 최대 재시도 횟수를 늘립니다.curl -XPUT "localhost:9200//_settings" -.. 공감수 1 댓글수 0 2022. 12. 21.
게임 마케팅 용어 정리 [유저관련 지표] UV Unique visitor 게임의 접속한 실제 유저 수, 여러번 방문해도 1로 카운트 DAU Daily Active User 일단위로 측정한 UV WAU Week Active User 주단위로 측정한 UV MAU Monthly Active User 월 단위로 UV 측정 RU Registered User 일정기간내에 게임에 등록된 유저 수 NRU New Registered User 일정기간내에 등록된 신규 유저 수 ARU Accumulate Register User 해당 기간까지의 등록된 누적 유저 수 MUV Multigame Unique Visitor 해당 기간 동안 게임 로그인하여 실제 게임을 플레이 한 회원 수 MTS Mutigame Time Spent 해당 기간 동안의 평균 .. 공감수 0 댓글수 0 2022. 12. 15.
Elasticsearch Dynamic Templates Dynamic mapping색인 필드의 데이터에 대한 data type을 지정하지 않고 동적으로 elasticsearch 에서 적절한 type을 지정해 주는 기능 mapping type을 미리 선언하지 않고 패턴이나 분석 특성에 맞춰 구성.match_mapping_typeJSON 파서를 통해서 data type 을 detection 합니다.long, double 의 경우 integer 와 float 에 대한 정확한 detection 이 어렵기 때문에 항상 long 과 double 로 detection match_pattern이 설정은 위에서 "match": "s_*" 과 같은 wildcard 패턴을 java 정규식으로 사용하기 위한 설정 [ ▼ 데이터 필드명의 prefix 값으로, 데이터 타입을 dy.. 공감수 0 댓글수 0 2022. 12. 6.
Elasticsearch function_score 스코어 계산 검색 정확도 기준 BM25 알고리즘을 이용해 문서에 대한 score 계산 TF (Term Frequency) 문서 내에서 자주 등장하는 단어(Term) 에 가중치를 높게 부여, 문서내에서 같은 단어가 여러번 등장한다면 그 단어에 높은 가중치를 주는 알고리즘 IDF (Inverse Document Frequency) 많은 문서에서 등장하는 단어의 가중치는 낮추고, 일부 문서에만 등장하는 단어에 대해 높은 가중치 부여 전체 문서에서 발생한 term 빈도수가 작을수록 weight가 높다. 문서에 자주 등장하는 단어일수록 낮은 가중치를 주는 알고리즘 똑같이 1번 검색이 되었다 하더라도 문서에 자주 등장한 단어가 매칭된 키워드일수록 낮은 가중치 문서에 많이 나오는게 좋은게 아닌가? 라고 생각할 수 있겠지만 문서에.. 공감수 0 댓글수 0 2022. 11. 9.
index illegal_argument_exception Elasticsearch 에서 Index 삭제 시, Wildcard 로 요청하면,--> Wildcard expressions or all indices are not allowed 에러가 발생하면서 삭제가 안됨.curl -XDELETE "localhost:9200/"{ "error" : { "root_cause" : [ { "type" : "illegal_argument_exception", "reason" : "Wildcard expressions or all indices are not allowed" } ], "type" : "illegal_argument_exception", "reason" : "Wildcard expression.. 공감수 0 댓글수 0 2022. 6. 30.
Document 데이터 전체 수정 # 게시판 카테고리 값이 없는 데이터 일괄로 "기타"값으로 수정curl -XPOST "localhost:9200/board-202205/_update_by_query" -H 'Content-Type: application/json' -d '{ "script": { "source": "ctx._source.category='기타'", "lang": "painless" }, "query": { "bool": { "must_not": [ {"exists": {"field": "category"}} ] } }}' 공감수 0 댓글수 0 2022. 5. 17.
조건에 따른 특정 Document 데이터 수정 # 1343번 게시글 카테고리를 "etc"로 수정curl -XPOST "localhost:9200/board-202205/_update/1343" -H 'Content-Type: application/json' -d '{ "doc": { "category": "etc" }}' 공감수 0 댓글수 0 2022. 5. 17.
조건에 따른 특정 Document 데이터 삭제 # 1341번 게시글 삭제curl -XPOST "localhost:9200/board-202205/_delete_by_query" -H 'Content-Type: application/json' -d '{ "query": { "match": { "_id": "1341" } }}'# writer 필드가 없는 게시글 일괄 삭제curl -XPOST "localhost:9200/board-202205/_delete_by_query" -H 'Content-Type: application/json' -d '{ "query": { "bool": { "must_not": { "exists": { "field": "wri.. 공감수 0 댓글수 0 2022. 5. 17.
몽고디비 컬렉션 전체 삭제하기 시스템 관련 컬렉션을 제외한 전체 컬렉션 삭제하기 var dbs = db.getMongo().getDBNames(); for(var i in dbs){ db = db.getMongo().getDB( dbs[i] ); if (db.getName() !== 'admin' && db.getName() !== 'local'){ print( "dropping db " + db.getName() ); db.dropDatabase(); } } 공감수 0 댓글수 0 2022. 5. 17.
nodejs ejs render 대신 html 사용하기 - app.js // 화면 engine을 ejs로 설정 app.set('view engine', 'ejs'); app.engine('html', require('ejs').renderFile); - index.js const express = require('express'); const router = express.Router(); /* GET home page. */ router.get('/', function(req, res, next) { return res.render('index.html'); }); module.exports = router; 공감수 2 댓글수 2 2020. 8. 12.
[Elasticsearch] monitoring execution failed 오류 Elasticsearch 로그 모니터링 중, 아래와 같은 오류가 발생했다. [2020-03-19T00:00:17,340][WARN ][o.e.x.m.MonitoringService] [xx-xx-log-1] monitoring execution failed org.elasticsearch.xpack.monitoring.exporter.ExportException: Exception when closing export bulk at org.elasticsearch.xpack.monitoring.exporter.ExportBulk$1$1.(ExportBulk.java:95) ~[?:?] at org.elasticsearch.xpack.monitoring.exporter.ExportBulk$1.onFailur.. 공감수 0 댓글수 0 2020. 3. 19.
자바스크립트 테트리스 자바스크립트로 제작된 테트리스 게임입니다. 방향키로 조작 가능합니다. 공감수 0 댓글수 0 2020. 3. 17.
자바스크립트 타자 연습 게임 var sentence = new Sentence(); function Sentence(){ this.word_data = new Array( "안녕하세요.", "가까운 무당보다 먼 데 무당이 용하다.", "가나다라도 모른다.", "사공 배 둘러대듯", "사기전에 종짓굽 맞추듯", "칼끝의 원쑤", "차 치고 포 친다.", "차돌에 바람 들면 석돌보다 못하다.", "바늘 가는 데 실 간다.", "바늘구멍으로 황소바람 들어온다.", "다 된 농사에 낫 들고 덤빈다.", "다 된 죽에 코 빠졌다.", "가난도 비단 가난", "가래장부는 본고을 좌수도 몰라본다.", "가랑잎이 솔잎더러 바스락거린다고 한다.", "고기 새끼 하나 보고 가마솥 부신다.", "그 아버지에 그 아들", "급하면 바늘허리에 실 매어 쓸.. 공감수 2 댓글수 0 2020. 3. 17.
youtube 영상 다운로드 app.js const request = require('request'); app.post("/getYoutube", (req, res) => { const cookies = "lang=en; _ga=GA1.2.1682187592.1407390651; _dc=1;"; const options = { url : "http://en.savefrom.net/savefrom.php", form: { sf_url: req.body.sf_url, sf_submit: "" }, method: "POST", headers: { "Cache-Control" : "max-age=0", "Connection" : "keep-alive", "Content-Type" : 'application/x-www-form-urlenc.. 공감수 0 댓글수 0 2020. 3. 17.
Elasticsearch Cluster 재기동, Rolling restart 2EA 이상 Cluster로 구성된 Elasticsearch 서버를 재기동 해야할 때, 하나의 Elasticsearch를 서비스 종료 시, 데이터 Node들이 relocate 되서, 많은 리소스가 소모 된다. 빠르게 재기동 하기 위해서는 이 relocate 옵션을 끄고 진행한다. shard allocation 옵션을 disable $ curl -X PUT "localhost:9200/_cluster/settings?pretty" -H 'Content-Type: application/json' -d' { "transient" : { "cluster.routing.allocation.enable" : "none" } } ' 노드 shutdown $ curl -XPOST 'localhost:9200/_clus.. 공감수 0 댓글수 0 2019. 12. 4.
body-parser (urlencoded, extended 옵션) request.body에 있는 데이터에 접근하기 위해 사용 //application/json 방식의 Content-Type 데이터 bodyParser.json(); //text/xml 방식의 Content-Type 데이터 bodyParser.text(); //application/x-www-form-urlencoded Content-Type 데이터 bodyParser.urlencoded({extended: true}); extended: true /false 차이점 true : qs모듈을 사용하여 쿼리 스트링 값을 해석 false : querystring 모듈을 사용하여 쿼리 스트링 값을 해석 let data = { info: { name: 'andy', age: 33 }, hobby[1]: sport,.. 공감수 0 댓글수 0 2019. 12. 3.
Kibana Mapping Conflict 해결 방법 kibana mapping conflict 현상 발생 시 우선적으로 해결해야 할 두가지 문제 1. index의 기존 데이터 매핑을 수정 2. 새로 만들어지거나, 새로 만들어질 index가 정확한 매핑이 가능하게 수정 but... Elasticsearch 에서는 이미 인덱싱된 기존 데이터는 매핑을 변경할 수 없다. 기존 데이터를 수정하려면, 새 인덱스를 생성하고 기존데이터를 복사해야 한다 (재 색인화: reindex) Template Mapping curl -XPUT 'localhost:9200/_template/access?pretty' -H 'Content-Type: application/json' -d' { "index_patterns": [ "access-*" ], "settings": { "num.. 공감수 1 댓글수 0 2019. 12. 3.
Electron Package Config 정보 가져오기 Electron에서 Package.json에 정의된 정보 가져오기 //package.json { "name": "application", "version": "1.0.0", "description": "Desktop Application!", "main": "main.js", "scripts": { "start": "electron ." }, "author": "GitHub", "license": "CC0-1.0", "devDependencies": { "electron": "^4.1.4" } } //main.js const { app } = require('electron'); console.log(app.getVersion()); console.log(app.getName()); 공감수 0 댓글수 0 2019. 5. 14.
td-agent, Fluentd Permission denied td-agentd.conf 설정파일에서 POS, Buffer 파일에 로그생성시 권한문제가 간혹 발생한다. unexpected error error_class=Errno::EACCES error=#unexpected error error_class=Errno::EACCES error=#이럴경우 td-agent의 설정값을 수정하자. TD_AGENT_USER, TD_AGENT_GROUP을 root로 수정 $ vi /etc/init.d/td-agent TD_AGENT_NAME=td-agent TD_AGENT_HOME=/opt/td-agent TD_AGENT_DEFAULT=/etc/sysconfig/td-agent TD_AGENT_USER=root TD_AGENT_GROUP=root TD_AGENT_RUBY=.. 공감수 1 댓글수 0 2017. 11. 6.
kibana unassigned 처리 Elasticsearch의 ./kibana index가 Unassigned 발생하는 이유는 ./kibana index의 number_of_replicas 값이 ES의 기본 설정값 보다 높은 경우 발생한다. 이런 경우 ./kibana index의 template 값을 변경 $ curl -XPUT 'localhost:9200/.kibana/_settings' -H 'Content-Type: application/json' -d ' { "index" : { "number_of_replicas" : 0 } } ' 공감수 0 댓글수 0 2017. 10. 16.
req.body null 일때 nodejs에서 Request 로그를 남길 때 보통 req.body 의 데이터를 남기곤 하는데 파일 첨부 형식의 enctype 일 경우 req.body 는 null 이다. # enctype="multipart/form-data" 인 경우 app.post('/save', (req, res) => { console.log(req.body); //null }); 공감수 0 댓글수 0 2017. 9. 12.
nodejs 기본 메모리 제한 32비트 = 512MB64비트 = 1GB 공감수 0 댓글수 0 2017. 8. 16.
child_process에서 spawn, exec 차이 spawn : stream 리턴, 비동기 exec : buffer 리턴, 동기 자식 프로세스로부터 큰 바이너리 데이터를 리턴받는 경우라면 spawn을, 간단한 상태 메시지만 받는 것이라면 exec를 쓴다. // Dependencies var fs = require('fs'); var url = require('url'); var http = require('http'); var exec = require('child_process').exec; var spawn = require('child_process').spawn; // App variables var file_url = 'http://upload.wikimedia.org/wikipedia/commons/4/4f/Big%26Small_edit_1... 공감수 0 댓글수 0 2017. 7. 20.
맥북에서 AWS 파일 업로드 맥북에서 터미널에서 커맨드로 AWS 파일 업로드하기 $ scp -i aws인증키.pem file.zip centos@xx.xx.xx.xx:file.zip 공감수 0 댓글수 0 2017. 5. 28.
맥북에서 AWS 인스턴스 접속하기 $ ssh -i AWS인증키.pem centos@xx.xx.xx.xxHost 앞에 계정은 OS에 따라 바뀜. (ex: ec2-user, ubuntu..) 공감수 0 댓글수 0 2017. 5. 28.
[MSSQL] 특정 컬럼이 들어간 프로시져 찾기 테이블 컬럼 찾기 SELECT TAB.NAME,TAB.ID,COL.* FROM SYSOBJECTS TAB LEFT JOIN SYSCOLUMNS COL ON TAB.ID=COL.ID WHERE TAB.TYPE='U' AND COL.NAME = '찾을 컬럼'특정 단어가 들어간 프로시저명 찾기 우선 이 쿼리로 검색 (아래 쿼리보다 속도가 빠르다...) SELECT ROUTINE_NAME FROM INFORMATION_SCHEMA.ROUTINES WHERE ROUTINE_TYPE='PROCEDURE' AND ROUTINE_DEFINITION LIKE '%찾을 단어%' ORDER BY ROUTINE_NAME위 커리로 안나올 시 이 쿼리로 검색 SELECT .. 공감수 0 댓글수 0 2017. 5. 16.
Mongodb 접속하기 shell 접속 $ ./mongodb/bin/mongo admin -uroot -p http rest monitoring 접속 $ ./mongodb/bin/mongo --rest admin -uroot -실시간 DML 현황 보기 $ ./mongodb/bin/mongostat --host 192.xx.xx.xx -uroot -pXXXX --authenticationDatabase admin $ ./mongodb/bin/mongotop --host 192.xx.xx.xx -uroot -pXXXX --authenticationDatabase admin 공감수 0 댓글수 0 2017. 4. 21.
Elasticsearch 주요 용어 Elasticsearch VS RDBMS 용어 차이 RDBMSElasticsearch SQL Query DSL Database Index Table Type Row Document Column Field Index Analyzer Primary Key _id Schema Mapping Physical Partition Shard Logical Partition Route Relation Parent-Child, Nested * Elasticsearch의 type은 index랑 통합 예정 공감수 0 댓글수 0 2017. 4. 17.
윈도우에 nginx 설치 윈도우에 nginx 설치 방법 nginx는 압축해제 후 exe파일만 실행하면 되기 때문에 따로 설치단계는 없다. 먼저 nginx 사이트에 접속하여 nginx(Stable version) 파일을 다운로드 한다. URL : http://nginx.org/en/download.html 원하는 디렉토리에 압축을 해제한다. (저는 D:\에 했음..) 압축해제된 nginx-1.*.* 디렉토리에 nginx.exe 실행 파일을 더블클릭하면 nginx 실행됨. nginx 실행 후 브라우저로 http://localhost/ 로 접속 실행 끝.. 종료방법은 윈도우 커맨드 명령창에 nginx.exe 가 있는 디렉토리로 이동 후 nginx.exe -s stop 입력 공감수 0 댓글수 0 2017. 3. 10.
javascript querystring 파라미터 값 function getParameterByName(name, url) { if (!url) { url = location.href; } name = name.replace(/\[\\\[\\\]\]/g, "\\\\$&"); var regex = new RegExp("\[?&\]" + name + "(=(\[^&#\]\*)|&|#|$)"), results = regex.exec(url); if (!results) return null; if (!results[2]) return ''; return decodeURIComponent(results[2].replace(/\\+/g, " ")); } // query string: ?foo=lorem&bar=&baz var foo = getParameterByNam.. 공감수 0 댓글수 0 2017. 3. 8.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.