皇上,还记得我吗?我就是1999年那个Linux伊甸园啊-----24小时滚动更新开源资讯,全年无休!

Elasticsearch Rest Client bboss v5.9.7 发布

The best Elasticsearch Highlevel Rest  Client API—–bboss    v5.9.7 发布。

bboss elasticsearch 是一套基 于query dsl 语法操作和访问分布式搜索引擎 elasticsearch 的 o/r mapping 高性能java开发库,底层基于 es restful api。

主要功能特色

  1. ElasticSearch兼容性:1.x,2.x,5.x,6.x,7.x,+
  2. JDK兼容性: jdk 1.7+
  3. Spring boot兼容性:1.x,2.x
  4. ORM和DSL二者兼顾,类mybatis方式操作ElasticSearch,
  5. 支持SQLJDBC
  6. 提供快速而高效的数据同步导入ES工具(支持DB到Elasticsearch,Elasticsearch到DB,MongoDB到Elastisearch数据同步,后续将支持更多的数据源)
  7. 提供按时间日期ES历史数据清理工具
  8. APM开源产品pinpoint官方Elasticsearch bboss 客户端性能监控插件,插件地址:

https://github.com/naver/pinpoint/tree/master/plugins/elasticsearch-bboss

v5.9.7 功能改进

1.完善数据同步功能:增加flushInterval参数,单位毫秒,值大于0时,对于异步消息处理组件数据长时间没有达到指定的batchSize记录条数时,强制将已经接收到的数据进行入库处理

2.增加BulkProcessor:异步收集增、删、改请求,并进行排队,达到一定的请求数量后,进行bulk批量入库处理,可以根据flushInterval参数(单位毫秒),值大于0时,对于异步消息处理组件数据长时间没有达到指定的batchSize记录条数时,强制将已经接收到的数据进行bulk入库处理,参考文档:

https://esdoc.bbossgroups.com/#/bulkProcessor

3.增加elasticsearch-elasticsearch数据同步功能,Demo地址:

https://github.com/bbossgroups/elasticsearch-elasticsearch

4.Elasticsearch同步功能改进:增加ignoreNullValueField控制参数,true是忽略null值存入elasticsearch,false是存入(默认值)

importBuilder.setIgnoreNullValueField(true);

5.Client Api改进:http连接池增加 evictExpiredConnections配置,true 控制HttpClient实例使用后台线程主动地从连接池中驱逐过期连接,默认值为true

6.bug修复:ElasticSearchHelper.getElasticSearchSink(String elasticSearch)方法传入default数据源名称时,后台报异常信息

7.修复数据同步bug:application.properties文件中不配置db相关的选项时,同步作业报错

8.完善数据同步任务统计信息记录

9.解决mongodb-elasticsearch增量数据同步增量状态记录主键没有正确生成的问题

10.修改bug:slice scroll parral和scroll parrel查询有个bug,变量名称写错了,会导致数据重复

11.数据同步模块扩展:增加数据库到数据库的数据同步功能

12.将数据同步模块从elasticsearch模块剥离,单独形成gradle工程 ,github地址:

https://github.com/bbossgroups/bboss-elastic-tran

13.数据同步工具功能扩展:

  • 增加mongodb-db同步模块,支持mongodb各个版本,各种主流数据库,案例:

https://github.com/bbossgroups/mongodb-elasticsearch

  • 增加kafka1x-elasticsearch同步模块兼容kafka_2.12-0.10.2.0系列版本,elasticsearch各个版本:案例

https://github.com/bbossgroups/kafka1x-elasticsearch

  • 增加kafka2x-elasticsearch同步模块兼容kafka_2.12-2.3.0 系列版本,elasticsearch各个版本,案例:

https://github.com/bbossgroups/kafka2x-elasticsearch

Elasticsearch bboss使用文档

Elasticsearch bboss版本变更记录

转自 https://www.oschina.net/news/112000/bboss-elasticsearch-5-9-7-released