欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 房产 > 建筑 > kettle从入门到精通 第九十六课 ETL之kettle Elasticsearch 增删改查彻底掌握

kettle从入门到精通 第九十六课 ETL之kettle Elasticsearch 增删改查彻底掌握

2025/5/8 17:16:46 来源:https://blog.csdn.net/zhangjin1222/article/details/147775642  浏览:    关键词:kettle从入门到精通 第九十六课 ETL之kettle Elasticsearch 增删改查彻底掌握

场景:

 群里有小伙伴咨询kettle从Elasticsearch中抽取数据,群里老师们纷纷响应,vip小伙伴是不是有中受宠若惊的感觉。

今天我们使用kettle通过es的原生rest接口来进行操作es,开整。

前提:本篇文章基于elasticsearch:7.17.9版本进行测试,在 Elasticsearch 7.x 及以上版本中,_doc 不能自定义。在 Elasticsearch 6.x 及之前的版本中,一个索引里可以有多个文档类型(类似于 MySQL 中一个数据库里有多个表),文档类型可以自定义。

1、创建es索引

创建一个索引,名字为xiaojingang,如下所示

PUT http://127.0.0.1:9200/xiaojingang
{"settings": {"number_of_shards": 1,"number_of_replicas": 0}
}

 2、删除es索引

删除es索引xiaojingang,如下图所示:

DELETE http://127.0.0.1:9200/xiaojingang

 3、写入文档

POST http://localhost:9200/xiaojingang/_doc/1
{"name": "Java小金刚","content": "一个专门用来学习和交流kettle的公众号"
}

4、查询文档

GET http://localhost:9200/xiaojingang/_search
{"query": {"match": {"name": "小金刚"}}
}

5、更新文档 

POST http://localhost:9200/xiaojingang/_update/1
{"doc": {"name": "Java大金刚","content": "这是更新后的示例文章内容。"}
}

 重新读取

 6、删除文档

DELETE http://localhost:9200/xiaojingang/_doc/1

 重新读取

 7、分页读取,使用 Scroll API

Scroll API 适用于需要处理大量数据的场景,它通过创建一个快照来避免每次请求都进行排序和合并操作。

 请求示例:

# 初始化 scroll 请求
curl -X GET "localhost:9200/my_index/_search?scroll=1m" -H 'Content-Type: application/json' -d'
{"query": {"match_all": {}},"size": 10
}
'

上述请求中,scroll=1m 表示这个快照的有效期为 1 分钟,size=10 表示每次返回 10 个文档。响应中会包含一个 _scroll_id,用于后续的滚动请求。

# 后续的滚动请求
curl -X GET "localhost:9200/_search/scroll" -H 'Content-Type: application/json' -d'
{"scroll": "1m","scroll_id": "your_scroll_id"
}
'

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

热搜词