关键字

日志库管理、生命周期、热温数据迁移

适用产品

· AnyRobot 3.0.x

目的

基于用户不同业务对应不同的数据类型，创建日志库，基于集群已配置多 es 实例，对不同类型的数据按定制计划执行热温数据迁移，以将数据从 SSD 盘迁移到普通 SATA 盘，实现对已存数据的高效管理。

解决方案

基本思路

根据不同类型数据，创建日志库模板，自动生成相应日志库，在创建日志库模板时，即可配置热温数据迁移计划，在生成新的日志库时，该日志库便会被被添加到迁移计划队列，当达到预设时间后，系统自动触发热温迁移计划，将当前日志库从热数据节点被迁移到温数据节点，同时存储路径由 SSD 盘转换到普通 SATA 盘。

使用方法

步骤一，进入配置页

1.    登录 AnyRobot，点击数据源，选择日志库管理。在日志库管理标签页，选择日志库模板，点击新建，跳转到新建配置信息页面。

2.    在新建配置页面，填写模版名称，选择数据类型，下图例中选择业务类型 A 的数据类型 typeA ，日志库名称创建规则选择：“类型-年.月”。

3.   填写模版配置中的其他参数：

     分片数：分片的自身大小与数量决定日志库空间大小。

     副本数：表示日志库额外存储时的副本数。

     生命周期：表示目标日志库热数据状态时长，超过设定时间将会触发温热迁移。

     全文索引：表示全文索引的开启状态，包含 2 种状态，开启或关闭。

     字段设置：用于全文索引的字段。

下图示例中分片数填 1；副本数填 0；生命周期填 999 年；关闭全文索引；字段设置如图。

4.    点击三角展开热温迁移配置项。按需要配置迁移计划，填写迁移策略与执行计划。下图示例中，基于当前模板生成的索引每天 00:00 执行迁移计划，迁移策略为当前索引超过 3 个月时间后，该索引将由热数据状态迁移至温数据状态。

5.    迁移计划支持修改为一天的任意时间，建议设定在数据量接入较少的时间段内。

步骤二，获取模板列表和日志库列表

1.    在步骤一点击保存后，系统将自动跳转至日志库模板列表页。

2.    点击该模板查看按钮，可看到日志库模板详情，同时可看到热温数据迁移的迁移计划和执行策略，确如步骤一所配置。

3.    点击日志库按钮，列表展示基于模板创建的日志库列表，如 typeA-2019.12.11，日志库状态为热，由步骤一配置项可知，当该索引达到 3 个月生命周期时，该索引将被从热数据状态切换为温数据状态。