分类目录操作系统

作者Daniel Stori花了一幅漫画 “InSide The Linux Kernel” 。来自 TurnOff.us。贼生动形象了，一起来看看吧。

我们先来看看这幅漫画的全貌！

阅读更多

curl 设计用于在没有用户交互的情况下工作。它是一个工具，用于传输来自服务器或者到服务器的数据。「向服务器传输数据或者获取来自服务器的数据」

可支持的协议有（DICT、FILE、FTP、FTPS、GOPHER、HTTP、HTTPS、IMAP、IMAPS、LDAP、LDAPS、POP3、POP3S、RTMP、RTSP、SCP、SFTP、SMTP、SMTPS、TELNET和TFTP）。

curl提供了大量有用的技巧，比如代理支持、用户身份验证、FTP上传、HTTP post、SSL连接、cookie、文件断点续传、Metalink等等。正如你将在下面看到的，这些特性的数量会让您头晕目眩！

阅读更多

内存管理软件包括虚拟内存系统、地址转换、交换、换页和分配。与性能密切相关的内容包括：内存释放、空闲链表、页扫描、交换、进程地址空间和内存分配器。在Linux中，空闲链表通常由分配器消耗，如内核的slab分配器和SLUB,以及用户级分配器(glibc,linux系统)libmalloc、libumem和mtmalloc。

• slab: 内核slab分配器管理特定大小的对象缓存，使他们能够被快速的回收利用，并且避免页分配的开销。适用于处理固定大小结构的内核内存分配。
• slub: 基于slab分配器。它主要是解决slab分配器带来的问题，其中包括移除对象队列，以及每个CPU缓存，把NUMA优化留给页分配器。
• glibc: 结合多种非配器策略的高效分配器，它基于分配请求的长度进行分配。较小的分配来自内存集合，包括用伙伴关系算法合并长度相近的单位。较大的分配用树高效地搜索空间。对于非常大的分配，会转到mmap（）。

阅读更多

本文只是对Docker的概念做了较为详细的介绍，并不涉及一些像Docker环境的安装以及Docker的一些常见操作和命令。

• 容器
• 什么是Docker？
• Docker思想、特点
• Docker容器主要解决什么问题
• 容器 VS 虚拟机
• Docker基本概念： 镜像（Image），容器（Container），仓库（Repository）

Docker 是世界领先的软件容器平台，所以想要搞懂Docker的概念我们必须先从容器开始说起。

阅读更多

首先说明，本文讨论的cache指的是Linux中的page cache，buffer指的是buffer cache，也即cat /proc/meminfo中显示的cache和buffer。

我们知道，Linux下频繁存取文件或单个大文件时物理内存会很快被用光，当程序结束后内存不会被正常释放而是一直作为cahce占着内存。因此系统经常会因为这点导致OOM产生，尤其在等大压力场景下概率较高，此时，第一时间查看cache和buffer内存是非常高的。此类问题目前尚未有一个很好的解决方案，以往遇到大多会做规避处理，因此本案尝试给出一个分析和解决的思路。

解决该问题的关键是理解什么是cache和buffer，什么时候消耗在哪里以及如何控制cache和buffer，所以本问主要围绕这几点展开。整个讨论过程尽量先从内核源码分析入手，然后提炼APP相关接口并进行实际操作验证，最后总结给出应用程序的编程建议。

可以通过free或者cat /proc/meminfo查看到系统的buffer和cache情况

阅读更多

1. 通常Linux服务异常的处理流程

阅读更多

1. 性能优化方法论

不可中断进程案例：

阅读更多

Linux性能分析概要

1. 性能指标

随着应用负载的增加，系统资源的使用也会升高，甚至达到极限。而性能问题的本质，就是系统资源已经达到瓶颈，但请求的处理却还不够快，无法支撑更多的请求。
性能分析，其实就是找出应用或系统的瓶颈，并设法去避免或者缓解它们，从而更高效地利用系统资源处理更多的请求。这包含了一系列步骤，比如：

• 选择指标评估应用程序和系统的性能
• 为应用程序和系统设置性能目标
• 进行性能基准测试
• 性能分析定位瓶颈
• 优化系统和应用程序
• 性能监控和告警

阅读更多

1. linux服务器性能查看

1.1 cpu性能查看

1、查看物理cpu个数：

cat /proc/cpuinfo |grep "physical id"|sort|uniq|wc -l

2、查看每个物理cpu中的core个数：

cat /proc/cpuinfo |grep "cpu cores"|wc -l

3、逻辑cpu的个数：

cat /proc/cpuinfo |grep "processor"|wc -l

物理cpu个数*核数=逻辑cpu个数（不支持超线程技术的情况下）

1.2 内存查看

阅读更多

网络攻击（Cyber Attacks，也称赛博攻击）是指针对计算机信息系统、基础设施、计算机网络或个人计算机设备的，任何类型的进攻动作。对于计算机和计算机网络来说，破坏、揭露、修改、使软件或服务失去功能、在没有得到授权的情况下偷取或访问任何一计算机的数据，都会被视为于计算机和计算机网络中的攻击。

1. 暴力破解

暴力破解是一种针对于密码或身份认证的破译方法，即穷举尝试各种可能，找到突破身份认证的一种攻击方法。

暴力破解是一把双刃剑，一方面能够被恶意者使用，另一方面在计算机安全性方面却非常重要，它用于检查系统、网络或应用程序中使用的弱密码。

暴力破解的原理就是使用攻击者自己的用户名和密码字典，一个一个去枚举，尝试是否能够登录。因为理论上来说，只要字典足够庞大，枚举总是能够成功的！

但实际发送的数据并不像想象中的那样简单——“ 每次只向服务器发送用户名和密码字段即可！”，实际情况是每次发送的数据都必须要封装成完整的 HTTP 数据包才能被服务器接收。但是你不可能一个一个去手动构造数据包，所以在实施暴力破解之前，我们只需要先去获取构造HTTP包所需要的参数，然后扔给暴力破解软件构造工具数据包，然后实施攻击就可以了。

阅读更多

CAS

CAS:Compare and Swap, 翻译成比较并交换。

java.util.concurrent包中借助CAS实现了区别于synchronouse同步锁的一种乐观锁。

CAS应用

CAS有3个操作数，内存值V，旧的预期值A，要修改的新值B。当且仅当预期值A和内存值V相同时，将内存值V修改为B，否则什么都不做。

非阻塞算法 （nonblocking algorithms）

一个线程的失败或者挂起不应该影响其他线程的失败或挂起的算法。

现代的CPU提供了特殊的指令，可以自动更新共享数据，而且能够检测到其他线程的干扰，而 compareAndSet() 就用这些代替了锁定。

拿出AtomicInteger来研究在没有锁的情况下是如何做到数据正确性的。

private volatile int value;

在没有锁的机制下可能需要借助volatile原语，保证线程间的数据是可见的（共享的）。

这样才获取变量的值的时候才能直接读取。

阅读更多

Kubernetes 以其超前的设计理念和优秀的技术架构，在容器编排领域拔得头筹。越来越多的公司开始在生产环境部署实践 Kubernetes，在阿里巴巴和蚂蚁金服 Kubernetes 已被大规模用于生产环境。Kubernetes 的出现使得广大开发同学也能运维复杂的分布式系统，它大幅降低了容器化应用部署的门槛，但运维和管理一个生产级的高可用 Kubernetes 集群仍十分困难。本文将分享蚂蚁金服是如何有效可靠地管理大规模 Kubernetes 集群的，并会详细介绍集群管理系统核心组件的设计。

系统概览

Kubernetes 集群管理系统需要具备便捷的集群生命周期管理能力，完成集群的创建、升级和工作节点的管理。在大规模场景下，集群变更的可控性直接关系到集群的稳定性，因此管理系统可监控、可灰度、可回滚的能力是系统设计的重点之一。除此之外，超大规模集群中，节点数量已经达到 10K 量级，节点硬件故障、组件异常等问题会常态出现。面向大规模集群的管理系统在设计之初就需要充分考虑这些异常场景，并能够从这些异常场景中自恢复。

阅读更多

灰度发布（又名金丝雀发布）介绍

当应用上线以后，运维面临的一大挑战是如何能够在不影响已上线业务的情况下进行升级。做过产品的同学都清楚，不管在发布前做过多么完备的自动化和人工测试，在发布后都会出现或多或少的故障。根据墨菲定律，可能会出错的版本发布一定会出错。

“ANYTHING THAN CAN GO WRONG WILL GO WRONG”

—— MURPHY’S LAW

因此我们不能寄希望于在线下测试时发现所有潜在故障。在无法百分百避免版本升级故障的情况下，需要通过一种方式进行可控的版本发布，把故障影响控制在可以接受的范围内，并可以快速回退。

可以通过灰度发布（又名金丝雀发布）来实现业务从老版本到新版本的平滑过渡，并避免升级过程中出现的问题对用户造成的影响。

阅读更多

1、什么是LVS？

首先简单介绍一下LVS (Linux Virtual Server)到底是什么东西，其实它是一种集群(Cluster)技术，采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。

为此，在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。一般来说，LVS集群采用三层结构，其体系结构如图所示：

LVS集群的体系结构

阅读更多

零拷贝（zero-copy）是实现主机或路由器等设备高速网络接口的主要技术。零拷贝技术通过减少或消除关键通信路径影响速率的操作，降低数据传输的操作系统开销和协议处理开销，从而有效提高通信性能，实现高速数据传输。

在计算机执行操作时，CPU 不需要先将数据从一个内存区域复制到另一个内存区域，从而可以减少上下文切换以及 CPU 的拷贝时间。它的作用是在数据报从网络设备到用户程序空间传递的过程中，减少数据拷贝次数，减少系统调用，实现 CPU 的零参与，彻底消除 CPU 在这方面的负载。

实现零拷贝用到的最主要技术是 DMA 数据传输技术和内存区域映射技术：

• 零拷贝机制可以减少数据在内核缓冲区和用户进程缓冲区之间反复的 I/O 拷贝操作。
• 零拷贝机制可以减少用户进程地址空间和内核地址空间之间因为上下文切换而带来的 CPU 开销。

阅读更多

对于大部分人来说，这是一个很陌生的词，甚至不知道它到底是什么，从哪里来，有什么用，和自己的工作有什么关系。

参考一下百度百科的解释，OpenStack是一个由NASA(美国国家航空航天局)和Rackspace合作研发并发起的，以Apache许可证授权的自由软件和开放源代码项目。

OpenStack是一个开源的云计算管理平台项目，由几个主要的组件组合起来完成具体工作。OpenStack支持几乎所有类型的云环境，项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenStack通过各种互补的服务提供了基础设施即服务(IaaS)的解决方案，每个服务提供API以进行集成。

纵观OpenStack的发展史，从2014/2015的爆发顶点，到现在势微甚至逐渐被人遗忘，中间发生了什么，是什么造成了今天的局面，是很有意思的事情。

阅读更多

分布式文件系统

分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接再本地节点上，而是通过计算机网络与节点相连
分布式文件系统的设计基于客户机/服务器（C/S）模式
常用分布式文件系统：
 Lustre，Hadoop，FastDFS，Ceph，GlusterFS，Swift，TFS 等

阅读更多

本文根据美团基础架构部/弹性策略团队负责人涂扬在2019 QCon（全球软件开发大会）上的演讲内容整理而成。本文涉及到的Kubernetes集群管理技术，美团相关的技术实践可参考此前发布的相关文章。

HULK是美团的容器集群管理平台。在HULK之前，美团的在线服务大部分部署都是在VM上，在此期间，我们遇到了很大的挑战，主要包括以下两点：

• 环境配置信息不一致：部分业务线下验证正常，但线上验证却不正常。
• 业务扩容流程长：从申请机器、资源审核到服务部署，需要5分钟才能完成。

因为美团很多业务都具有明显的高低峰特性，大家一般会根据最高峰的流量情况来部署机器资源，然而在业务低峰期的时候，往往用不了那么多的资源。在这种背景下，我们希望打造一个容器集群管理平台来解决上述的痛点问题，于是HULK项目就应运而生了。

阅读更多

HMS是什么？

华为移动服务是个什么东西呢？

它的英文名为Huawei Mobile Services，缩写为HMS。

HMS？这不禁让人想起GMS。也就是移动服务。

GMS可是Google开发并推动Android的动力，是Android系统的灵魂所在。

GMS目前提供有Search、Search by Voice、Gmail、Contact Sync、Calendar Sync、Talk、Maps、Street View、YouTube、Android Market(ICS上更改为Play store)服务。

阅读更多

感谢那些开源的贡献者们，使我们可以更深入地了解语言与技术的本质与内部机理。对于Golang语言来说，其最大的特色可以说是协程(goroutine)了, 协程让本来很复杂的异步编程变得简单, 让程序员不再需要面对回调地狱,

虽然现在引入了协程的语言越来越多, 但go中的协程仍然是实现的是最彻底的.

这篇文章将通过分析golang的源代码来讲解协程的实现原理.

这个系列分析的golang源代码是Google官方的实现的1.9.2版本, 不适用于其他版本和gccgo等其他实现, 运行环境是Ubuntu 16.04 LTS 64bit.

核心概念

要理解协程的实现, 首先需要了解go中的三个非常重要的概念, 它们分别是G, M和P,

没有看过golang源代码的可能会对它们感到陌生, 这三项是协程最主要的组成部分, 它们在golang的源代码中无处不在.

G (goroutine)

G是goroutine的头文字, goroutine可以解释为受管理的轻量线程, goroutine使用go关键词创建.

举例来说, func main() { go other() }, 这段代码创建了两个goroutine,

一个是main, 另一个是other, 注意main本身也是一个goroutine.

goroutine的新建, 休眠, 恢复, 停止都受到go运行时的管理.

goroutine执行异步操作时会进入休眠状态, 待操作完成后再恢复, 无需占用系统线程,

goroutine新建或恢复时会添加到运行队列, 等待M取出并运行.

M (machine)

M是machine的头文字, 在当前版本的golang中等同于系统线程.

M可以运行两种代码:

• go代码, 即goroutine, M运行go代码需要一个P
• 原生代码, 例如阻塞的syscall, M运行原生代码不需要P

M会从运行队列中取出G, 然后运行G, 如果G运行完毕或者进入休眠状态, 则从运行队列中取出下一个G运行, 周而复始.

有时候G需要调用一些无法避免阻塞的原生代码, 这时M会释放持有的P并进入阻塞状态, 其他M会取得这个P并继续运行队列中的G.

go需要保证有足够的M可以运行G, 不让CPU闲着, 也需要保证M的数量不能过多.

P (process)

P是process的头文字, 代表M运行G所需要的资源.

一些讲解协程的文章把P理解为cpu核心, 其实这是错误的.

虽然P的数量默认等于cpu核心数, 但可以通过环境变量GOMAXPROC修改, 在实际运行时P跟cpu核心并无任何关联.

P也可以理解为控制go代码的并行度的机制,

如果P的数量等于1, 代表当前最多只能有一个线程(M)执行go代码,

如果P的数量等于2, 代表当前最多只能有两个线程(M)执行go代码.

执行原生代码的线程数量不受P控制.

因为同一时间只有一个线程(M)可以拥有P, P中的数据都是锁自由(lock free)的, 读写这些数据的效率会非常的高.

阅读更多

没有什么比讲故事更能帮助人们理解进程、线程与线程之间那点事了。

很久以前，有两个程序，暂且称他们旺财和小强吧。

旺财和小强这两个程序都很长，每个都有十几万行。 他们两个的人生价值就是到CPU上去运行，把运行结果告诉人类。

CPU是稀缺资源，只有一个，他们俩必须排着队，轮流使用。

旺财从头到尾执行完了，让出CPU， 让小强从头儿去执行。

人类把这种处理方式叫做批处理。

进程

长久以来，两人相安无事。 后来CPU的速度越来越快， 远远超过了内存，硬盘的速度。

人类想到，这批处理系统的效率有点低啊，你看当小强需要从硬盘上读取数据的时候，CPU也一直在等待，这是多大的浪费啊！这时候完全可以让旺财来运行一下嘛！

阅读更多

当下Docker容器化的架构备受欢迎，越来越多的企业开始利用容器来构建自己的基础架构。通常是自己建立了Docker注册表，部署在服务器上安装Docker，安装Jenkins通过Docker插件Jenkins CI管道管理Docker容器。更大一点规模的则会使用K8S或者Swarm编排集群。对一个企业而言有开始尝试使用容器到逐渐深入，扩大规模要经历一系列的问题和踩坑的过程，那么如何规范化、安全的实施容器化，如何尽最大避免踩坑呢？本文虫虫给列出企业尝试容器化架构需要考虑的各方各面问题，希望可以对大家有所帮助。

镜像问题

容器注册表

Docker服务都需要一个注册表（可不是我们常说的windows注册表），Docker注册表是Docker镜像的存储和在线（Web）版本仓库（类似于代码的github仓库）。有很多公有云自有容器注册表服务，比如Docker官方的Docker Hub，很多公有云都提供自己Docker注册表服务：

除了这些公开的注册表，基于安全、网络访问速度、规范化等考虑企业维护一个自建的Docker注册表（Docker私服）也是必须的。构建Docker私服可以使用Docker官方的Distribution，它是Docker官方推出的Docker Registry 2开源产品，使用Golang开发，极大提高了安全和性能。

阅读更多

基本工作过程

Kubernetes 的核心工作过程：

1. 资源对象：Node、Pod、Service、Replication Controller 等都可以看作一种资源对象
2. 操作：通过使用 kubectl 工具，执行增删改查
3. 存储：对象的目标状态（预设状态），保存在 etcd 中持久化储存；
4. 自动控制：跟踪、对比 etcd 中存储的目标状态与资源的当前状态，对差异资源纠偏，自动控制集群状态。

Kubernetes 实际是：高度自动化的资源控制系统，将其管理的一切抽象为资源对象，大到服务器 Node 节点，小到服务实例 Pod。

阅读更多

同步 & 异步

同步与异步是针对多个事件(线程/进程)来说的。

• 如果事件A需要等待事件B的完成才能完成，这种串行执行机制可以说是同步的，这是一种可靠的任务序列，要么都成功，要么都失败。
• 如果事件B的执行不需要依赖事件A的完成结果，这种并行的执行机制可以说是异步的。事件B不确定事件A是否真正完成，所以是不可靠的任务序列。

同步异步可以理解为多个事件的执行方式和执行时机如何，是串行等待还是并行执行。同步中依赖事件等待被依赖事件的完成，然后触发自身开始执行，异步
中依赖事件不需要等待被依赖事件，可以和被依赖事件并行执行，被依赖事件执行完成后，可以通过回调、通知等方式告知依赖事件。

阅读更多