有没有 elasticsearch 全量索引和增量索引的方案呢?

日期 : 2020-07-29 22:56:25作者 : 中原锦绣

1.业务方本身系统的故障,出现大量数据的丢失 2.业务高速发展产生增减字段或者修改分词算法等相关的需求 3.业务冷启动会有一次性导入大批量数据的需求


以上情况需要全量索引,我看网上大多数是说通过别名的方式来重建,是不是只能这一种方案呢?


增量索引可以通过 canal 监听 binlog 日志来完成增量索引,如果全量索引的时候怎么暂停增量索引呢?

引自: https://elasticsearch.cn/question/609 有几种方法,看着选吧:

1.在业务系统里做双写 

2.用 elasticsearch-jdbc 之类的工具来做全量和增量同步 

3.用阿里的 canal 来做数据库 binlog->kafka->es 的同步,需要开发,而且依赖比较多,小公司选择还是慎重些吧

标签 :