首先说明，本文讨论的cache指的是Linux中的page cache，buffer指的是buffer cache，也即cat /proc/meminfo中显示的cache和buffer。
我们知道，Linux下频繁存取文件或单个大文件时物理内存会很快被用光，当程序结束后内存不会被正常释放而是一直作为cahce占着内存。因此系统经常会因为这点导致OOM产生，尤其在等大压力场景下概率较高，此时，第一时间查看cache和buffer内存是非常高的。此类问题目前尚未有一个很好的解决方案，以往遇到大多会做规避处理，因此本案尝试给出一个分析和解决的思路。
解决该问题的关键是理解什么是cache和buffer，什么时候消耗在哪里以及如何控制cache和buffer，所以本问主要围绕这几点展开。整个讨论过程尽量先从内核源码分析入手，然后提炼APP相关接口并进行实际操作验证，最后总结给出应用程序的编程建议。
可以通过free或者cat /proc/meminfo查看到系统的buffer和cache情况
随着应用负载的增加，系统资源的使用也会升高，甚至达到极限。而性能问题的本质，就是系统资源已经达到瓶颈，但请求的处理却还不够快，无法支撑更多的请求。
性能分析，其实就是找出应用或系统的瓶颈，并设法去避免或者缓解它们，从而更高效地利用系统资源处理更多的请求。这包含了一系列步骤，比如：
1、查看物理cpu个数：
cat /proc/cpuinfo |grep "physical id"|sort|uniq|wc -l
2、查看每个物理cpu中的core个数：
cat /proc/cpuinfo |grep "cpu cores"|wc -l
3、逻辑cpu的个数：
cat /proc/cpuinfo |grep "processor"|wc -l
物理cpu个数*核数=逻辑cpu个数（不支持超线程技术的情况下）
网络攻击（Cyber Attacks，也称赛博攻击）是指针对计算机信息系统、基础设施、计算机网络或个人计算机设备的，任何类型的进攻动作。对于计算机和计算机网络来说，破坏、揭露、修改、使软件或服务失去功能、在没有得到授权的情况下偷取或访问任何一计算机的数据，都会被视为于计算机和计算机网络中的攻击。
暴力破解是一种针对于密码或身份认证的破译方法，即穷举尝试各种可能，找到突破身份认证的一种攻击方法。
暴力破解是一把双刃剑，一方面能够被恶意者使用，另一方面在计算机安全性方面却非常重要，它用于检查系统、网络或应用程序中使用的弱密码。
暴力破解的原理就是使用攻击者自己的用户名和密码字典，一个一个去枚举，尝试是否能够登录。因为理论上来说，只要字典足够庞大，枚举总是能够成功的！
但实际发送的数据并不像想象中的那样简单——“ 每次只向服务器发送用户名和密码字段即可！”，实际情况是每次发送的数据都必须要封装成完整的 HTTP 数据包才能被服务器接收。但是你不可能一个一个去手动构造数据包，所以在实施暴力破解之前，我们只需要先去获取构造HTTP包所需要的参数，然后扔给暴力破解软件构造工具数据包，然后实施攻击就可以了。
CAS:Compare and Swap, 翻译成比较并交换。
java.util.concurrent包中借助CAS实现了区别于synchronouse同步锁的一种乐观锁。
CAS有3个操作数，内存值V，旧的预期值A，要修改的新值B。当且仅当预期值A和内存值V相同时，将内存值V修改为B，否则什么都不做。
一个线程的失败或者挂起不应该影响其他线程的失败或挂起的算法。
现代的CPU提供了特殊的指令，可以自动更新共享数据，而且能够检测到其他线程的干扰，而 compareAndSet() 就用这些代替了锁定。
拿出AtomicInteger来研究在没有锁的情况下是如何做到数据正确性的。
private volatile int value;
在没有锁的机制下可能需要借助volatile原语，保证线程间的数据是可见的（共享的）。
这样才获取变量的值的时候才能直接读取。
Kubernetes 以其超前的设计理念和优秀的技术架构，在容器编排领域拔得头筹。越来越多的公司开始在生产环境部署实践 Kubernetes，在阿里巴巴和蚂蚁金服 Kubernetes 已被大规模用于生产环境。Kubernetes 的出现使得广大开发同学也能运维复杂的分布式系统，它大幅降低了容器化应用部署的门槛，但运维和管理一个生产级的高可用 Kubernetes 集群仍十分困难。本文将分享蚂蚁金服是如何有效可靠地管理大规模 Kubernetes 集群的，并会详细介绍集群管理系统核心组件的设计。
Kubernetes 集群管理系统需要具备便捷的集群生命周期管理能力，完成集群的创建、升级和工作节点的管理。在大规模场景下，集群变更的可控性直接关系到集群的稳定性，因此管理系统可监控、可灰度、可回滚的能力是系统设计的重点之一。除此之外，超大规模集群中，节点数量已经达到 10K 量级，节点硬件故障、组件异常等问题会常态出现。面向大规模集群的管理系统在设计之初就需要充分考虑这些异常场景，并能够从这些异常场景中自恢复。
当应用上线以后，运维面临的一大挑战是如何能够在不影响已上线业务的情况下进行升级。做过产品的同学都清楚，不管在发布前做过多么完备的自动化和人工测试，在发布后都会出现或多或少的故障。根据墨菲定律，可能会出错的版本发布一定会出错。
“ANYTHING THAN CAN GO WRONG WILL GO WRONG”
—— MURPHY’S LAW
因此我们不能寄希望于在线下测试时发现所有潜在故障。在无法百分百避免版本升级故障的情况下，需要通过一种方式进行可控的版本发布，把故障影响控制在可以接受的范围内，并可以快速回退。
可以通过灰度发布（又名金丝雀发布）来实现业务从老版本到新版本的平滑过渡，并避免升级过程中出现的问题对用户造成的影响。
1、什么是LVS？
首先简单介绍一下LVS (Linux Virtual Server)到底是什么东西，其实它是一种集群(Cluster)技术，采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。
为此，在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。一般来说，LVS集群采用三层结构，其体系结构如图所示：
LVS集群的体系结构
零拷贝（zero-copy）是实现主机或路由器等设备高速网络接口的主要技术。零拷贝技术通过减少或消除关键通信路径影响速率的操作，降低数据传输的操作系统开销和协议处理开销，从而有效提高通信性能，实现高速数据传输。
在计算机执行操作时，CPU 不需要先将数据从一个内存区域复制到另一个内存区域，从而可以减少上下文切换以及 CPU 的拷贝时间。它的作用是在数据报从网络设备到用户程序空间传递的过程中，减少数据拷贝次数，减少系统调用，实现 CPU 的零参与，彻底消除 CPU 在这方面的负载。
实现零拷贝用到的最主要技术是 DMA 数据传输技术和内存区域映射技术：
对于大部分人来说，这是一个很陌生的词，甚至不知道它到底是什么，从哪里来，有什么用，和自己的工作有什么关系。
参考一下百度百科的解释，OpenStack是一个由NASA(美国国家航空航天局)和Rackspace合作研发并发起的，以Apache许可证授权的自由软件和开放源代码项目。
OpenStack是一个开源的云计算管理平台项目，由几个主要的组件组合起来完成具体工作。OpenStack支持几乎所有类型的云环境，项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenStack通过各种互补的服务提供了基础设施即服务(IaaS)的解决方案，每个服务提供API以进行集成。
纵观OpenStack的发展史，从2014/2015的爆发顶点，到现在势微甚至逐渐被人遗忘，中间发生了什么，是什么造成了今天的局面，是很有意思的事情。
分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接再本地节点上，而是通过计算机网络与节点相连 分布式文件系统的设计基于客户机/服务器（C/S）模式 常用分布式文件系统： Lustre，Hadoop，FastDFS，Ceph，GlusterFS，Swift，TFS 等
本文根据美团基础架构部/弹性策略团队负责人涂扬在2019 QCon（全球软件开发大会）上的演讲内容整理而成。本文涉及到的Kubernetes集群管理技术，美团相关的技术实践可参考此前发布的相关文章。
HULK是美团的容器集群管理平台。在HULK之前，美团的在线服务大部分部署都是在VM上，在此期间，我们遇到了很大的挑战，主要包括以下两点：
因为美团很多业务都具有明显的高低峰特性，大家一般会根据最高峰的流量情况来部署机器资源，然而在业务低峰期的时候，往往用不了那么多的资源。在这种背景下，我们希望打造一个容器集群管理平台来解决上述的痛点问题，于是HULK项目就应运而生了。
华为移动服务是个什么东西呢？
它的英文名为Huawei Mobile Services，缩写为HMS。
HMS？这不禁让人想起GMS。也就是移动服务。
GMS可是Google开发并推动Android的动力，是Android系统的灵魂所在。
GMS目前提供有Search、Search by Voice、Gmail、Contact Sync、Calendar Sync、Talk、Maps、Street View、YouTube、Android Market(ICS上更改为Play store)服务。
感谢那些开源的贡献者们，使我们可以更深入地了解语言与技术的本质与内部机理。对于Golang语言来说，其最大的特色可以说是协程(goroutine)了, 协程让本来很复杂的异步编程变得简单, 让程序员不再需要面对回调地狱,
虽然现在引入了协程的语言越来越多, 但go中的协程仍然是实现的是最彻底的.
这篇文章将通过分析golang的源代码来讲解协程的实现原理.
这个系列分析的golang源代码是Google官方的实现的1.9.2版本, 不适用于其他版本和gccgo等其他实现, 运行环境是Ubuntu 16.04 LTS 64bit.
要理解协程的实现, 首先需要了解go中的三个非常重要的概念, 它们分别是G, M和P,
没有看过golang源代码的可能会对它们感到陌生, 这三项是协程最主要的组成部分, 它们在golang的源代码中无处不在.
G (goroutine)
G是goroutine的头文字, goroutine可以解释为受管理的轻量线程, goroutine使用go关键词创建.
举例来说, func main() { go other() }, 这段代码创建了两个goroutine,
一个是main, 另一个是other, 注意main本身也是一个goroutine.
goroutine的新建, 休眠, 恢复, 停止都受到go运行时的管理.
goroutine执行异步操作时会进入休眠状态, 待操作完成后再恢复, 无需占用系统线程,
goroutine新建或恢复时会添加到运行队列, 等待M取出并运行.
M (machine)
M是machine的头文字, 在当前版本的golang中等同于系统线程.
M可以运行两种代码:
M会从运行队列中取出G, 然后运行G, 如果G运行完毕或者进入休眠状态, 则从运行队列中取出下一个G运行, 周而复始.
有时候G需要调用一些无法避免阻塞的原生代码, 这时M会释放持有的P并进入阻塞状态, 其他M会取得这个P并继续运行队列中的G.
go需要保证有足够的M可以运行G, 不让CPU闲着, 也需要保证M的数量不能过多.
P (process)
P是process的头文字, 代表M运行G所需要的资源.
一些讲解协程的文章把P理解为cpu核心, 其实这是错误的.
虽然P的数量默认等于cpu核心数, 但可以通过环境变量GOMAXPROC修改, 在实际运行时P跟cpu核心并无任何关联.
P也可以理解为控制go代码的并行度的机制,
如果P的数量等于1, 代表当前最多只能有一个线程(M)执行go代码,
如果P的数量等于2, 代表当前最多只能有两个线程(M)执行go代码.
执行原生代码的线程数量不受P控制.
因为同一时间只有一个线程(M)可以拥有P, P中的数据都是锁自由(lock free)的, 读写这些数据的效率会非常的高.
没有什么比讲故事更能帮助人们理解进程、线程与线程之间那点事了。
很久以前，有两个程序，暂且称他们旺财和小强吧。
旺财和小强这两个程序都很长，每个都有十几万行。 他们两个的人生价值就是到CPU上去运行，把运行结果告诉人类。
CPU是稀缺资源，只有一个，他们俩必须排着队，轮流使用。
旺财从头到尾执行完了，让出CPU， 让小强从头儿去执行。
人类把这种处理方式叫做批处理。
长久以来，两人相安无事。 后来CPU的速度越来越快， 远远超过了内存，硬盘的速度。
人类想到，这批处理系统的效率有点低啊，你看当小强需要从硬盘上读取数据的时候，CPU也一直在等待，这是多大的浪费啊！这时候完全可以让旺财来运行一下嘛！
当下Docker容器化的架构备受欢迎，越来越多的企业开始利用容器来构建自己的基础架构。通常是自己建立了Docker注册表，部署在服务器上安装Docker，安装Jenkins通过Docker插件Jenkins CI管道管理Docker容器。更大一点规模的则会使用K8S或者Swarm编排集群。对一个企业而言有开始尝试使用容器到逐渐深入，扩大规模要经历一系列的问题和踩坑的过程，那么如何规范化、安全的实施容器化，如何尽最大避免踩坑呢？本文虫虫给列出企业尝试容器化架构需要考虑的各方各面问题，希望可以对大家有所帮助。
Docker服务都需要一个注册表（可不是我们常说的windows注册表），Docker注册表是Docker镜像的存储和在线（Web）版本仓库（类似于代码的github仓库）。有很多公有云自有容器注册表服务，比如Docker官方的Docker Hub，很多公有云都提供自己Docker注册表服务：
除了这些公开的注册表，基于安全、网络访问速度、规范化等考虑企业维护一个自建的Docker注册表（Docker私服）也是必须的。构建Docker私服可以使用Docker官方的Distribution，它是Docker官方推出的Docker Registry 2开源产品，使用Golang开发，极大提高了安全和性能。
Kubernetes 的核心工作过程：
Kubernetes 实际是：高度自动化的资源控制系统，将其管理的一切抽象为资源对象，大到服务器 Node 节点，小到服务实例 Pod。
同步与异步是针对多个事件(线程/进程)来说的。
同步异步可以理解为多个事件的执行方式和执行时机如何，是串行等待还是并行执行。同步中依赖事件等待被依赖事件的完成，然后触发自身开始执行，异步
中依赖事件不需要等待被依赖事件，可以和被依赖事件并行执行，被依赖事件执行完成后，可以通过回调、通知等方式告知依赖事件。
前言
每当我们在生产环境服务器上执行rm命令时，总是提心吊胆的，因为一不小心执行了误删，然后就要准备跑路了，毕竟人不是机器，更何况机器也有bug，呵呵。
那么如果真的删除了不该删除的文件，比如数据库、日志或执行文件，该怎么解决？
模拟场景
1. 删除
误删除服务器目录/root/selenium/Spider下的MySql.Data.dll文件：
> rm -f /root/selenium/Spider/MySql.Data.dll > ll /root/selenium/Spider/MySql.Data.dll ls: cannot access /root/selenium/Spider/MySql.Data.dll: No such file or directory
就我个人理解，分布式系统的核心也即整个网络编程的核心只有两个队列与调度，如果非常加上第三个就是监控。现在吹的天花乱坠的东西，早在几十年前，计算机的先行者们就考虑到了。
今天，谈谈分布式系统本质实现之一：队列
简单吧，换句话说，只要掌握了队列，就掌握了分布式系统构件方式。所有的分布式系统，不管规模大小，都是不同类型队列的堆砌而已。
它既简单又复杂，在各个层次的描述并不一致。例如，我们从一个网站举例：
从宏观上来说它包含一个web服务器的消息处理队列，http消息到达服务器后是要排队处理的，这就是一个fifo队列；更进一步，如果这个网站的业务比较复杂，需要分布式部署，还需要像rabbitmq，kafka这样的队列服务器来分担应用层的压力，这也是一种高级的队列形式，提供的算法就不只是fifo可能还有广播，主题等特性。
我们进一步往下，下面就是操作系统了，操作系统跟队列有啥关系？或者跟并发有啥关系？可以说，一个系统的并发能力很大程度取决于os的设计。从网络协议栈的处理到进程线程的调度，到cpu cache相关的锁同步都直接或者间接跟os关系，毕竟程序写了千万条，最终在os才能执行。
从字面意思理解就是数据不需要来回的拷贝，大大提升了系统的性能；这个词我们也经常在java nio，netty，kafka，RocketMQ等框架中听到，经常作为其提升性能的一大亮点；下面从I/O的几个概念开始，进而在分析零拷贝。
缓冲区是所有I/O的基础，I/O讲的无非就是把数据移进或移出缓冲区；进程执行I/O操作，就是向操作系统发出请求，让它要么把缓冲区的数据排干(写)，要么填充缓冲区(读)；下面看一个java进程发起read请求加载数据大致的流程图：
