Elasticsearch默认fields1000报错解决

**背景:**由于日志输出调整,ES出现了很多如下的报错,这个issue可以在这个github地址找到,另外还有5.0版本关于这个问题的说明。 我的ES版本为:5.0.0(直接curl yourip:9200就可以看到)

This is to prevent mapping explosion when dynamic keys such as UUID are used as field names. index.mapping.total_fields.limit specifies the total number of fields an index can have. An exception will be thrown when the limit is reached. The default limit is 1000. Value 0 means no limit. This setting is runtime adjustable – – – 以上摘自yanjunh对于该issue的答复

关于Kafka分布式消息队列

背景: 直接使用EFK进行日志收集,在大规模高压力的情况下Elasticsearch会存在丢数据的情况,现在考虑使用MQ(Message Queue)进行缓冲,达到不丢数据的目的。由于对于日志收集响应速度并不是十分高,并且对日志的可靠性要求较高,最终选择Kafka来充当消息队列而非官方推荐的redis。这里着重进行kafka介绍,之后会整合EFK+kafka的应用落地记录。

Etcd及相关组件安装配置说明

简介:Etcd是CentOS公司发起的一个开源项目,灵感来自于 ZooKeeper 和 Doozer,它使用Go语言编写,并通过Raft一致性算法处理日志复制以保证强一致性(Raft是一个来自Stanford的新的一致性算法,适用于分布式系统的日志复制,Raft通过选举的方式来实现一致性,在Raft中,任何一个节点都可能成为Leader。),主要用于共享配置和服务发现的分布式、一致性的KV存储系统。 除了常见的共享配置及服务发现,还可以使用Etcd结合SkyDNS提供内网域名解析服务。 这里主要涉及etcd安装配置说明、etcd-view安装配置、skydns安装配置