欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 新闻 > 资讯 > 第 24 章 - Elasticsearch 索引生命周期管理

第 24 章 - Elasticsearch 索引生命周期管理

2024/12/13 12:52:22 来源:https://blog.csdn.net/qq_32880923/article/details/143247888  浏览:    关键词:第 24 章 - Elasticsearch 索引生命周期管理

文章目录

    • 0. 前言
    • 1. 生命周期基本概念
      • 1.1 生命周期的5个阶段
      • 1.2 不同阶段所能处理的行为
      • 1.3 行为描述
    • 2. 生命周期管理实操
      • 2.1 创建生命周期
        • 步骤1 创建生命周期策略
        • 步骤2 创建索引模板
        • 步骤3 基于时间+序号初始化索引
        • 步骤4 通过别名写入数据
      • 2.2 更新 ILM 策略
      • 2.3 切换 ILM 策略

0. 前言

本章讲解 Elasticsearch 的索引生命周期管理。
通过 ES 的索引生命周期管理,我们可以非常方便的实现,索引自动删除、索引备份功能。
下面我将介绍生命周期的相关概念,以及基本使用。

1. 生命周期基本概念

1.1 生命周期的5个阶段

elasticsearch 将索引的生命周期分为以下5个阶段

  • Hot: 索引频繁被修改、查询
  • Warm: 索引已经不更新,但仍在查询
  • Cold: 索引已不更新,也很少被查询。仍然可以被搜索,查询速度较慢,也没关系
  • Frozen:Cold 阶段类似,但查询的速度会更慢
  • Delete: 数据将被永远删除

1.2 不同阶段所能处理的行为

在生命周期的不同阶段,会按照以下所列顺序执行操作。

  • Hot: Set Priority,Rollover,Read-Only,Shrink,Force Merge,Searchable Snapshot
  • Warm: Set Priority,Read-Only,Allocate,Migrate,Shrink,Force Merge
  • Cold: Set Priority,Read-Only,Searchable Snapshot,Allocate,Migrate
  • Frozen: Searchable Snapshot
  • Delete: Delete

1.3 行为描述

  • Set Priority
    当节点恢复时,优先级高的索引会被优先恢复
PUT _ilm/policy/test_24_policy
{"policy": {"phases": {"warm": {"actions": {"set_priority" : {"priority": 50}}}}}
}
  • Rollover
    在满足条件时(如索引大小或年龄),创建一个新的索引并将写入操作指向新索引。
PUT _ilm/policy/test_24_policy
{"policy": {"phases": {"hot": {"actions": {"rollover" : {"max_primary_shard_size": "50GB"}}}}}
}
  • Read-Only
    将索引设置为只读状态
PUT _ilm/policy/test_24_policy
{"policy": {"phases": {"warm": {"actions": {"readonly" : { }}}}}
}
  • Allocate
    将索引移动到指定的节点上, 或设置索引的副本分片数
PUT _ilm/policy/test_24_policy
{"policy": {"phases": {"warm": {"actions": {"allocate" : {"include" : {"box_type": "warm"},"number_of_replicas": 1}}}}}
}
  • Migrate
    将索引移动至当前阶段所对应的节点。该阶段仅在 Warm, Cold 生效
PUT _ilm/policy/test_24_policy
{"policy": {"phases": {"warm": {"actions": {"migrate" : {}}}}}
}
  • Shrink
    减少索引的主分片数
PUT _ilm/policy/test_24_policy
{"policy": {"phases": {"warm": {"actions": {"shrink" : {"number_of_shards": 1}}}}}
}
  • Force Merge
    强制将索引合并到指定的段(segment)数,此行为索引会变为只读
PUT _ilm/policy/test_24_policy
{"policy": {"phases": {"warm": {"actions": {"forcemerge" : {"max_num_segments": 1}}}}}
}
  • Searchable Snapshot
    在当前阶段创建一个可搜索的快照。
    首先你需要创建一个快照仓库,以阿里云为例
PUT /_snapshot/my_backup
{"type": "oss","settings": {"oss.client.endpoint": "oss-cn-shanghai.aliyuncs.com","oss.client.access_key_id": "xxx","oss.client.secret_access_key": "xxx","oss.client.bucket": "xxxxxx","oss.client.base_path":"snapshot/","oss.client.compress": true}
}

接着,指定快照仓库

PUT _ilm/policy/test_24_policy
{"policy": {"phases": {"cold": {"actions": {"searchable_snapshot" : {"snapshot_repository" : "my_backup"}}}}}
}
  • Delete
    删除数据
PUT _ilm/policy/test_24_policy
{"policy": {"phases": {"delete": {"actions": {"delete" : { }}}}}
}

基本概念介绍完毕,接下来带大家实操。

2. 生命周期管理实操

2.1 创建生命周期

步骤1 创建生命周期策略
PUT _ilm/policy/test_24_policy
{"policy": {"phases": {"hot": {                                "actions": {"rollover": {"max_primary_shard_size": "1GB", "max_size" : "2GB","max_age": "1d","max_docs": 1000}}},"warm": {"min_age": "30m","actions": {"allocate": {"number_of_replicas": 1},"shrink": {"number_of_shards": 1},"forcemerge": {"max_num_segments": 1}}}, "cold": {"min_age": "1h","actions": {"readonly": {},"migrate" : {}}}, "delete": {"min_age": "2h",                     "actions": {"delete": {}                        }}}}
}
参数说明
hot该策略设置索引只要满足其中任一条件:最大的主分片写入达到50GB、所有主分片写入达到150GB、索引自创建至今超过1天、文档数超过1000,就会触发索引滚动更新。此时系统会新建一个索引,该索引将重新启动策略,新数据会写入新索引,旧数据会移动到旧索引。旧索引将滚动更新后等待30分钟进入warn阶段
warm索引进入warn阶段后,将副本分片设置1,主分片设置为1,强制合并为1个段。完成该操作后,索引将在1个小时后,进入cold阶段
cold索引进入cold阶段后,ILM将索引设置为只读,并将索引从hot节点移动到cold节点。完成操作后,索引将在2小时后进入delete阶段
delete索引进入delete阶段后被删除
步骤2 创建索引模板
PUT _template/test_24_template
{"index_patterns" : ["ilmtest-*"],"settings": {"index.number_of_shards": 1,"index.number_of_replicas": 1,"index.routing.allocation.require.box_type":"hot","index.lifecycle.name": "test_24_policy", "index.lifecycle.rollover_alias": "ilmtest"},"mappings": {"properties": {"name": {"type": "keyword"},"age": {"type": "keyword"}}}
}
参数说明
index.routing.allocation.require.box_type指定索引新建时所分配的节点
index.lifecycle.name指定生命周期策略名称
index.lifecycle.rollover_alias当索引触发滚动操作时,新数据往哪个索引别名写入
步骤3 基于时间+序号初始化索引
# PUT <ilmtest-{now/d}-000001>
PUT %3Cilmtest-%7Bnow%2Fd%7D-000001%3E
{"aliases": {"ilmtest": {"is_write_index": true}}
}

注意:<>{}/ 都是特殊字符,所以需要对 URL 进行编码

步骤4 通过别名写入数据
POST ilmtest/_doc
{"name": "elasticsearch","age": 18
}

查看 ILM 进度

GET ilmtest-*/_ilm/explain

2.2 更新 ILM 策略

PUT _ilm/policy/test_24_policy
{"policy": {"phases": {"hot": {                                "actions": {"rollover": {"max_primary_shard_size": "3GB", "max_size" : "5GB","max_age": "1d","max_docs": 1000}}},"warm": {"min_age": "30m","actions": {"allocate": {"number_of_replicas": 1},"shrink": {"number_of_shards": 1},"forcemerge": {"max_num_segments": 1}}}, "cold": {"min_age": "1h","actions": {"readonly": {},"allocate": {"require": {"box_type": "warm"}}}}, "delete": {"min_age": "2h",                     "actions": {"delete": {}                        }}}}
}

查看 ILM 进度

GET ilmtest-*/_ilm/explain

如果在滚动期间,我们更新了策略,那么滚动期间使用的还是旧的策略。新策略会在下一次滚动生效。

2.3 切换 ILM 策略

创建新策略

PUT _ilm/policy/test_24_policy_new
{"policy": {"phases": {"hot": {                                "actions": {"rollover": {"max_primary_shard_size": "3GB", "max_size" : "5GB","max_age": "1d","max_docs": 1000}}},"delete": {"min_age": "2h",                     "actions": {"delete": {}                        }}}}
}

应用新策略

PUT _template/test_24_template
{"index_patterns" : ["ilmtest-*"],"settings": {"index.number_of_shards": 1,"index.number_of_replicas": 1,"index.lifecycle.name": "test_24_policy_new", "index.lifecycle.rollover_alias": "ilmtest"},"mappings": {"properties": {"name": {"type": "keyword"},"age": {"type": "keyword"}}}
}

切换策略后,新策略不会立即生效。当前正在滚动写入的索引依旧使用旧策略,直到当前索引 rollover 生成新索引,新策略才会生效。
应用旧策略创建的索引,依旧绑定旧策略。如果需要为这些索引绑定新策略,可执行

PUT ilmtest-*/_settings
{"lifecycle.name": "test_24_policy_new"
}

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com