从Hot到Delete:揭秘ILM如何自动化管理Elasticsearch索引生命周期_es 使用ilm 自动删除历史数据
维护过老版本的Elasticsearch大佬应该都有以下的痛苦经历:
-
凌晨被磁盘爆满告警惊醒
-
手动管理100+索引导致操作失误
ILM概述及好处
ILM概述:索引生命周期管理 (ILM) 策略来自动管理您的索引 根据您的性能、弹性和保留要求。
ILM带来的好处:
-
当索引达到一定大小或文档数量时,启动新索引
-
每天、每周或每月创建一个新索引并存档以前的索引
-
删除过时的索引以强制实施数据保留标准
ILM核心机制解剖
生命周期五阶段全景图
阶段
读写状态
存储介质建议
典型场景
Hot
高频读写
SSD/NVMe
实时日志写入
Warm
只读查询
SAS
近7天日志查询
Cold
低频查询
HDD
历史数据归档
Frozen
极速查询