注意:演示用的2節(jié)點es,有些參數(shù)配置不太合理,生產(chǎn)環(huán)境還需要更嚴格的參數(shù)設定(例如必須開啟密碼驗證)。
創(chuàng)新互聯(lián)服務項目包括樂昌網(wǎng)站建設、樂昌網(wǎng)站制作、樂昌網(wǎng)頁制作以及樂昌網(wǎng)絡營銷策劃等。多年來,我們專注于互聯(lián)網(wǎng)行業(yè),利用自身積累的技術優(yōu)勢、行業(yè)經(jīng)驗、深度合作伙伴關系等,向廣大中小型企業(yè)、政府機構等提供互聯(lián)網(wǎng)行業(yè)的解決方案,樂昌網(wǎng)站推廣取得了明顯的社會效益與經(jīng)濟效益。目前,我們服務的客戶以成都為中心已經(jīng)輻射到樂昌省份的部分城市,未來相信會繼續(xù)擴大服務區(qū)域并繼續(xù)獲得客戶的支持與信任!系統(tǒng)版本:CentOS7
節(jié)點規(guī)劃:
熱數(shù)據(jù)節(jié)點:? 192.168.2.4
溫數(shù)據(jù)節(jié)點:? 192.168.2.190
PS:這里就沒分 hot warm cold 這種三級存儲,我們一般使用 hot warm 2種即可。
我們這里使用 tar.gz 通用二進制文件
useradd es
# cat /etc/security/limits.d/elasticsearch.conf?
es?-?nofile?65535 es?-?noproc?65535 es?-?memlock?unlimitedcd /usr/local/elasticsearch-7.4.2/
mkdir data logs?
chown es.es? /usr/local/elasticsearch-7.4.2/ -R
su - es
cd /usr/local/elasticsearch-7.4.2/
熱數(shù)據(jù)節(jié)點:? 192.168.2.4 的配置如下:
cat config/elasticsearch.yml?
cluster.name:?my-application node.name:?node-1 node.attr.rack:?r1 node.attr.temperature:?hot path.data:?./data/ path.logs:?./logs node.master:?true node.data:?true node.ingest:?true bootstrap.memory_lock:?true network.host:?0.0.0.0 http.port:?9200 cluster.initial_master_nodes:? ??-?192.168.2.4:9300 ??-?192.168.2.190:9300 ?? discovery.seed_hosts: ??-?192.168.2.4 ??-?192.168.2.190 ?? gateway.recover_after_nodes:?1 #action.destructive_requires_name:?true #############?xpack?的配置項?#################### #xpack.security.enabled:?true #xpack.security.transport.ssl.enabled:?true xpack.security.audit.enabled:?true xpack.security.audit.logfile.events.include:?access_denied,?access_granted,?anonymous_access_denied,?authentication_failed,connection_denied,?tampered_request,?run_as_denied,?run_as_granted xpack.security.audit.logfile.emit_node_host_address:?true xpack.security.audit.logfile.emit_node_host_name:?true xpack.sql.enabled:?true xpack.ilm.enabled:?true溫數(shù)據(jù)節(jié)點:? 192.168.2.190
cat config/elasticsearch.yml?
cluster.name:?my-application node.name:?es11 node.attr.rack:?r1 node.attr.temperature:?warm path.data:?./data/ path.logs:?./logs node.master:?true node.data:?true node.ingest:?true bootstrap.memory_lock:?true network.host:?0.0.0.0 http.port:?9200 cluster.initial_master_nodes:? ??-?192.168.2.4:9300 ??-?192.168.2.190:9300 ?? discovery.seed_hosts: ??-?192.168.2.4 ??-?192.168.2.190 gateway.recover_after_nodes:?1 #action.destructive_requires_name:?true #############?xpack?的配置項?#################### #xpack.security.enabled:?true #xpack.security.transport.ssl.enabled:?true xpack.security.audit.enabled:?true xpack.security.audit.logfile.events.include:?access_denied,?access_granted,?anonymous_access_denied,?authentication_failed,connection_denied,?tampered_request,?run_as_denied,?run_as_granted xpack.security.audit.logfile.emit_node_host_address:?true xpack.security.audit.logfile.emit_node_host_name:?true xpack.sql.enabled:?true xpack.ilm.enabled:?true啟動腳本:?
# cat start.sh?
#?es?依賴高版本的jdk?需要先export下 export?JAVA_HOME=./jdk/ nohup?./bin/elasticsearch?>/dev/null?2>&1?&停止腳本:
# cat stop.sh?
kill?$(jps|?grep?Elasticsearch?|?awk?'{print?$1}')創(chuàng)建索引,并將數(shù)據(jù)搬遷到hot節(jié)點:
curl?-H?'Content-Type:?application/json'?-X?PUT?http://localhost:9200/index-2019.10.19?pretty curl?-H?'Content-Type:?application/json'?-X?PUT?http://localhost:9200/index-2019.10.19/_settings?-d?' { ??"index.routing.allocation.require.temperature":?"hot" }'如果要將 index-2019.10.19 的數(shù)據(jù)搬遷到溫節(jié)點,我們使用下面的這個命令就行
curl?-H?'Content-Type:?application/json'?-X?PUT?http://localhost:9200/index-2019.10.19/_settings?-d?' { ??"index.routing.allocation.require.temperature":?"warm" }'流程跑通后,我們可以寫個腳本,作用有2個:
1、提前創(chuàng)建后一天的索引,并確保將其落到hot節(jié)點
2、將7天前的索引,打標簽,存放到es的warm節(jié)點(大容量HDD磁盤):
#!/bin/bash #?創(chuàng)建新的索引,語句類似下面5行,需要根據(jù)自己情況修改(建議使用for循環(huán)創(chuàng)建index) #?curl?-H?'Content-Type:?application/json'?-X?PUT?http://localhost:9200/index-2019.10.19?pretty #?curl?-H?'Content-Type:?application/json'?-X?PUT?http://localhost:9200/index-2019.10.19/_settings?-d?' #?{ #???"index.routing.allocation.require.temperature":?"hot" #?}' day=$(date?+"%Y.%m.%d"?-d?-7day) curl?-H?'Content-Type:?application/json'??-X?PUT?http://192.168.2.4:9200/*-${day}/_settings?-d?' { ??"index.routing.allocation.require.temperature":?"warm" }'另外, 在es7里面 提供?index-lifecycle-management 這個功能, 我們在kibana 界面里面就可以進行配置。 具體可以查閱es官方的文檔(個人還是比較喜歡用上面的這種腳本的方案)。
另外有需要云服務器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn,海內(nèi)外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。
網(wǎng)頁題目:es數(shù)據(jù)的冷熱分離實驗-創(chuàng)新互聯(lián)
新聞來源:http://jinyejixie.com/article22/ceshjc.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供域名注冊、做網(wǎng)站、ChatGPT、商城網(wǎng)站、營銷型網(wǎng)站建設、網(wǎng)站內(nèi)鏈
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容