分布式存储方案-MinIO
2021-07-18 19:50:20 
阿炯
Minio是GlusterFS创始人之一Anand Babu Periasamy发布新的开源项目。Minio兼容Amason的S3分布式对象存储项目，采用Golang开发并在ApacheV2协议下授权使用，客户端支持Java、Python、Javacript、Go语言。
MinIO 是一款高性能、分布式的对象存储系统。它是一款软件产品,可以100%的运行在标准硬件，即X86等低成本机器也能够很好的运行MinIO。与传统的存储和其他的对象存储不同的是：它一开始就针对性能要求更高的私有云标准进行软件架构设计。因为MinIO一开始就只为对象存储而设计，所以采用了更易用的方式进行设计，它能实现对象存储所需要的全部功能，在性能上也更加强劲，它不会为了更多的业务功能而妥协，失去MinIO的易用性、高效性。 这样的结果所带来的好处是：它能够更简单的实现局有弹性伸缩能力的原生对象存储服务。
MinIO在传统对象存储用例(例如辅助存储，灾难恢复和归档)方面表现出色。同时，它在机器学习、大数据、私有云、混合云等方面的存储技术上也独树一帜。当然也不排除数据分析、高性能应用负载、原生云的支持。其可以做为云存储的解决方案用来保存海量的图片，视频，文档。由于采用Golang实现，服务端可以工作在Windows,Linux, OS X和FreeBSD上。配置简单，基本是复制可执行程序，单行命令可以运行起来。MinIO设计为云原生，可以作为轻量级容器运行，由外部编排服务(如Kubernetes)管理。整个服务器约为40MB静态二进制文件，即使在高负载下也可以高效利用CPU和内存资源。
在2007年，GlusterFS演变为大型分布式存储方案后，为公司提供做分布式的流媒体，数据分析。2011年红帽公司收购了GlusterFS。
特点
高性能：作为高性能对象存储，在标准硬件条件下它能达到55GB/s的读、35GG/s的写速率
可扩容：不同MinIO集群可以组成联邦，并形成一个全局的命名空间，并跨越多个数据中心
云原生：容器化、基于K8S的编排、多租户支持
Amazon S3兼容：Minio使用Amazon S3 v2/v4 API。可以使用Minio SDK，Minio Client，AWS SDK和AWS CLI访问Minio服务器。
可对接后端存储: 除了Minio自己的文件系统，还支持DAS、 JBODs、NAS、Google云存储和Azure Blob存储。
SDK支持: 基于Minio轻量的特点，它得到类似Java、Python或Go等语言的sdk支持
Lambda计算: Minio服务器通过其兼容AWS SNS / SQS的事件通知服务触发Lambda功能。支持的目标是消息队列，如Kafka，NATS，AMQP，MQTT，Webhooks以及Elasticsearch，Redis，Postgres和MySQL等数据库。
有操作页面
功能简单: 这一设计原则让MinIO不容易出错、更快启动
支持纠删码：MinIO使用纠删码、Checksum来防止硬件错误和静默数据污染。在最高冗余度配置下，即使丢失1/2的磁盘也能恢复数据
特性
高性能
MinIO 是全球领先的对象存储先锋，目前在全世界有数百万的用户. 在标准硬件上，读/写速度上高达183 GB / 秒 和 171 GB / 秒。对象存储可以充当主存储层，以处理Spark、Presto、TensorFlow、H2O.ai等各种复杂工作负载以及成为Hadoop HDFS的替代品。MinIO用作云原生应用程序的主要存储，与传统对象存储相比，云原生应用程序需要更高的吞吐量和更低的延迟。而这些都是MinIO能够达成的性能指标。
可扩展性
MinIO利用了Web缩放器的来之不易的知识，为对象存储带来了简单的缩放模型。 这是我们坚定的理念 “简单可扩展”，在MinIO，扩展从单个群集开始，该群集可以与其他MinIO群集联合以创建全局名称空间, 并在需要时可以跨越多个不同的数据中心。 通过添加更多集群可以扩展名称空间, 更多机架，直到实现目标。
云的原生支持
MinIO 是在过去4年的时间内从0开始打造的一款软件 ，符合一切原生云计算的架构和构建过程，并且包含最新的云计算的全新的技术和概念。 其中包括支持Kubernetes、微服和多租户的的容器技术。使对象存储对于 Kubernetes更加友好。
开放全部源代码 + 企业级支持
MinIO 基于Apache V2 license 100% 开放源代码 。 这就意味着 MinIO的客户能够自动的、无限制、自由免费使用和集成MinIO、自由的创新和创造、自由的去修改、自由的再次发行新的版本和软件. 确实, MinIO 强有力的支持和驱动了很多世界500强的企业。 此外，其部署的多样性和专业性提供了其他软件无法比拟的优势。
与Amazon S3 兼容
亚马逊云的 S3 API(接口协议)是在全球范围内达到共识的对象存储的协议，是全世界内大家都认可的标准。 MinIO 在很早的时候就采用了 S3 兼容协议，并且MinIO 是第一个支持 S3 Select 的产品. MinIO对其兼容性的全面性感到自豪， 并且得到了 750多个组织的认同, 包括Microsoft Azure使用MinIO的S3网关 - 这一指标超过其他同类产品的总和。
简单
极简主义是MinIO的指导性设计原则。简单性减少了出错的机会，提高了正常运行时间，提供了可靠性，同时简单性又是性能的基础。只需下载一个二进制文件然后执行，即可在几分钟内安装和配置MinIO。 配置选项和变体的数量保持在最低限度，这样让失败的配置概率降低到接近于0的水平。MinIO升级是通过一个简单命令完成的，这个命令可以无中断的完成MinIO的升级，并且不需要停机即可完成升级操作 - 降低总使用和运维成本。
存储机制
Minio使用纠删码erasure code和校验和checksum。 即便丢失一半数量(N/2)的硬盘，仍然可以恢复数据。
校验和：保护数据免受硬件故障和无声数据损坏
纠删码：纠删码是一种恢复丢失和损坏数据的数学算法，目前纠删码技术在分布式存储系统中的应用主要有三类：
阵列纠删码(Array Code: RAID5、RAID6等)
RS(Reed-Solomon)里德-所罗门类纠删码
LDPC(LowDensity Parity Check Code)低密度奇偶校验纠删码
Erasure Code是一种编码技术，它可以将n份原始数据，增加m份数据，并能通过n+m份中的任意n份数据，还原为原始数据。即如果有任意小于等于m份的数据失效，仍然能通过剩下的数据还原出来。
Minio采用Reed-Solomon code将对象拆分成N/2数据和N/2 奇偶校验块。这就意味着如果是12块盘，一个对象会被分成6个数据块、6个奇偶校验块，可以丢失任意6块盘(不管其是存放的数据块还是奇偶校验块)，仍可以从剩下的盘中的数据进行恢复。
RS code编码数据恢复原理：RS编码以word为编码和解码单位，大的数据块拆分到字长为w(取值一般为8或者16位)的word，然后对word进行编解码。 数据块的编码原理与word编码原理相同，后文中以word为例说明，变量Di, Ci将代表一个word。
把输入数据视为向量D=(D1，D2，..., Dn), 编码后数据视为向量(D1, D2,..., Dn, C1, C2,.., Cm)，RS编码可视为如下(图1)所示矩阵运算。
图1最左边是编码矩阵(或称为生成矩阵、分布矩阵，Distribution Matrix)，编码矩阵需要满足任意n*n子矩阵可逆。为方便数据存储，编码矩阵上部是单位阵(n行n列)，下部是m行n列矩阵。下部矩阵可以选择范德蒙德矩阵或柯西矩阵。
RS最多能容忍m个数据块被删除。 数据恢复的过程如下：
(1)假设D1、D4、C2丢失，从编码矩阵中删掉丢失的数据块/编码块对应的行(图2、3)。
(2)由于B' 是可逆的，记B'的逆矩阵为 (B'^-1)，则B' * (B'^-1) = I 单位矩阵。两边左乘B' 逆矩阵(图4、5)。
(3)得到如下原始数据D的计算公式 。
(4)对D重新编码，可得到丢失的编码
进入维护模式
MinIO 官方 GitHub 仓库于2025年12月宣布更新项目状态为 “维护状态（Maintenance Mode）。具体公告内容如下:
该项目目前正在维护中，不接受新的更改。
代码库目前处于仅维护状态。
不接受任何新功能、改进或拉取请求。
关键安全修复可能需要根据具体情况进行评估。
现有问题和拉取请求将不会得到积极审查。
社区支持将继续通过 Slack 以尽力而为的方式进行。
有关企业支持和积极维护的版本，请参阅 MinIO AIStor.。
MinIO 是一个高性能、与 S3 兼容的对象存储系统，一开始曾在 Apache 2.0 许可下开源；后因防范云厂商 “白嫖”，宣布将核心许可证从 Apache 2.0 变更为 GNU AGPLv3。而如今该项目进一步关闭开源通道的举措不可避免的引发了社区开发者的不安。但也有开发者在 Hacker News 上发表评论认为，“MinIO 的做法无可厚非 —— 开源项目最终也需要盈利模式。”
在其他开源替代品方面，该名开发者则从多方面出发对 RustFS 和 Garage 进行了评估：
发布节奏：Garage 的更新速度稍慢，而 RustFS 几乎每周都会发布更新。
许可：Garage 采用 AGPLv3 许可，但 RustFS 使用 Apache 许可（这对企业采用来说意义重大）。
稳定性：Garage 目前在分布式环境中具有优势。
并得出结论称，随着 MinIO 有效地退出开源软件竞争，RustFS 将会实现领先。
最新版本：8.0
官方主页：http://www.minio.org.cn/