Fluentd使用中遇到的丢数据问题

目前遇到的问题主要有3个:两个关于buffer,一个关于connection。下面具体说描述下问题的详细信息及目前我采取的解决措施。先交代下我这里使用的Td-agent架构如下,PS(方便起见以下均将Td-agent简化为TD,关于TD和Fluentd的关系移步我的另一篇Blog

需要注意: 这里的缓存Buffer设置对0.14.21版本测试生效,亲测0.12.20不生效,具体可到【Fluentd官网】获取支持。

1
2
3
4
5
graph LR;
	  A(Td-client)-->F(Td-forward)
    B(Td-client)-->F(Td-forward)
    F-->E(Elasticsearch cluster)
    E-->K(Kibana)

即学即用Docker读书笔记

《即学即用Docker》这本书在手里也有很长时间了,现在补上读书笔记。感觉这书非常适合入门,对没有docker基础的推荐阅读。目前手里还有《Docker经典实例》和《Kubernetes权威指南》等待我的临幸,有时间就争取先来一遍。 容器是什么 容器不同于VMware或者Xen这种虚拟化系统,是一种完全不同的虚拟化方式,所有容器共用一个内核,而且容器之间的隔离完全在这个内核中实现,这叫做操作系统虚拟化。 容器是自成一体的执行环境,所有容器共用宿主机的内核,而且系统中的容器之间是相互隔离的(不强制一定要隔离)。 容器的最大优势是高效使用资源,因为不用为了使用各个独立的功能而运行整个操作系统。因为容器共用一个内核,所以隔离执行的任务和底层硬件之间少了一层交互。运行在容器里面的进程只需要使用很少一部分内核,进程在特权模式下进出处理器时不会再调出一个完整的内核。

使用IPsec搭建vpn系统

多机房情况下,有时候需要将跨机房内网打通,现在还是使用ipsec的多。而且相对也比较成熟。IPsec全称ip Security,由两类协议组成,分别为AH协议(Authentication Header)和ESP协议(Encapsulated Security Payload),由于AH协议无法提供数据加密,所有数据在传输时以明文传输,且AH由于提供数据来源确认,所以无法穿越NAT,所以这两种协议中ESP协议应用更广泛一些。VPN只是IPSec的一种应用方式。刚好有空余的机器就简单实验一下。