백업이 필요해서 설정을 하는데 도움될만한 문서는 딱 하나뿐인데 유용하다.

https://github.com/php79/backup

설정 예제와 친절한 도움말이 있어서 큰 도움이 되었다.

rsnapshot.conf 파일이 centos6과 7 이 살짝 다르니 설명서 대로 다운받지 말고

/etc/rsnapshot.conf 파일을 백업후 수정 하는편이 좋다.


설명서에는 interval로 되어 있는데 설정파일에는 retain으로 되어 있어서

무슨차이인지 한참 찾다 보니  ChangeLog에 변경된다고 되어 있다.


https://github.com/rsnapshot/rsnapshot/blob/master/ChangeLog


The 'interval' config option is now called 'retain'.


동작 구조상으로도 간격보다는 보관이 맞는것 같다.


ps 설정을 마치고 실행을 해보면서 추가 합니다.


hourly가 끝나지 않은 상태에서 daily가 동작 하면 어떻게되지?


일단 한번 full 백업을 해둔 상태에선 변경분만 백업될테니

맨처음 한번은 수동으로 각각 실행시켜야겠다.. 라고 생각하고

테스트 해보니 rsnapshot은 한번에 하나만 실행되는 구조군요.


로그를 보면 pid 체크를 해서 다른 프로세스가 있으면 중지 시킵니다.

hourly를 수동으로 실행시키고 daily를 실행시키니..동작 안하네요.. retain에 지정한 개수만큼 백업이 존재해야 하는가 봅니다.

hourly.5 not present (yet), nothing to copy

cron에 hourly, daily, weekly를 추가 했습니다.  로그를 확인해보니

hourly 디렉토리가 daily로 넘어가는군요.


mv /backup/.snapshots/hourly.5/ /backup/.snapshots/daily.0/


'지식창고 > 리눅스' 카테고리의 다른 글

nfs server host not responding, still trying 문제  (0) 2018.10.19
cectos 7 에 nodejs v8 설치  (0) 2018.01.24
redis-sentinel 삽질기  (0) 2018.01.10
centos dns lookup 느린 경우  (0) 2016.11.25
CentOS 7에 rabbitMQ 설치  (0) 2016.10.07

elasticsearh에 형태소 분석기 테스트를 위한 샘플 데이터를 찾다가 

위키피디아에서 제공 하는 dump로 작업 하는것이 보여서 정리한다.


OS 환경 : CentOS 7


위키피디아  dump

위키백과:데이터베이스 다운로드

pages-articles.xml.bz2 - 일반 문서의 최신 버전만이 묶여 있고, 전체 편집 역사는 들어있지 않습니다. 대부분의 이용자는 이 파일을 이용하면 됩니다.


curl -LOk https://dumps.wikimedia.org/kowiki/20180601/kowiki-20180601-pages-articles.xml.bz2


XML을  JSON으로 변환하자

https://github.com/cemsbr/wikipedia2json

python3 환경에서 실행되는데  파이썬은 hello world만 해본적이 있어서 구글링으로 삽질 후에 실행에 성공했다.


기본 설치 패키지

yum -y install https://centos7.iuscommunity.org/ius-release.rpm

yum -y install python36u bzip2

환경 구성 및 실행

cd wikipedia2json

python3.6 -m venv venv

source venv/bin/activate

cp scripts/w2j.py .

bzcat kowiki-*.xml.bz2 | ./w2j.py >kowiki.json

deactivate


'지식창고 > elasticsearch' 카테고리의 다른 글

kibana 7.2 실행 안되는 문제  (1) 2019.06.26
은전한닢 elasticsearch plugin 빌드 하기  (1) 2017.08.21


60버전 이상에서 기능 지원함


주소창에 about:config 입력

검색 network.trr

network.trr.bootstrapAddress : 1.1.1.1

내 경우엔 1.1.1.1이 접속이 되지 않아 1.0.0.1 사용

network.trr.mode : 3

3 :DOH만 사용

2: DOH 실패시 기존대로 다시 시도

network.trr.uri  : https://cloudflare-dns.com/dns-query

다른 주소도 있는것 같은데 1.1.1.1 과 같은 서비스 주소를 사용하는편이 좋겠다 생각함



'지식창고 > 프로그램' 카테고리의 다른 글

CFile 에서 utf-8 파일 읽고 쓰기  (0) 2020.06.16
nginx post 405 not allow 문제  (0) 2016.11.24
크롬 마우스 제스쳐 확장  (0) 2016.09.21
ConEmu 설정  (0) 2016.08.31
Laravel - 기본 라우팅  (0) 2015.05.19