集群文件系统lustre简介
2009-11-22 17:37:29 阿炯

Lustre名字是由Linux和Clusters演化而来,是为解决海量存储问题而设计的全新文件系统。是下一代的集群文件系统,可支持10,000个节点,PB的存储量,100GB/S的传输速度,完美的安全性和可管理性。目前Lustre已经运用在一些领域,例如HP SFS产品等。

集群存储简介
在集群里,一组独立的节点或主机可以象一个系统一样步调一致地工作。整个集群只有唯一的命名空间。厂商们也已经制造了一些软件和硬件设备,它们可以把不相干的文件系统融合成只使用一个命名空间的文件系统。用户可以访问并共享其他用户的数据,而无需考虑是什么介质或其所处的是哪台主机。

集群存储系统需要解决的最基本的问题:
(1)提供共享访问数据,便于集群应用程序的编写和存储的负载均衡;
(2)提供高性能的存储,在I/O级和数据吞吐率方面能满足成百上千台规模的Linux集群服务器聚合访问的需求。

与分布式文件系统相比
数据不需要从一个文件系统拷贝或复制到另一个文件系统,通过集群系统共享应用和数据的任务执行起来要比在单独的设备上执行快得多;
集群可以为文件和文件系统提供更多的空间;
因为只需要管理一个文件系统,而不再是每个存储设备或主机都需要一个文件系统,管理也更容易了;如果集群内的某台服务器出现了故障,另一台服务器就可以把它的工作接手过来,故障恢复也成为了现实;
用户也可以同时对位于其网络上的存储设备里的所有文件进行访问。

Lustre是开放源代码的集群文件系统, 采取GPL许可协议 集群计算机里,计算机与磁盘间数据交换速度的提升无法跟上微处理器和内存增长的速度,从而也拖累了应用程序的性能。
一种新兴的集群文件系统软件提高了I/O速度,可能降低企业购买存储设备的成本并改变企业购买存储的方式。
集群文件系统已经在大学、实验室和超级计算研究中心里使用,而且即将进入通用商业计算市场。集群文件系统所拥有的快速I/O速度,可能将会改变企业处理存储的方式。
新的集群文件系统采用了开源的Lustre技术,由美国能源部(Department Of Energy)开发,惠普公司(HP)提供商业支持。它显著提高了输入输出(I/O)速度,目前已经在高校、国家实验室和超级计算研究中心产生了一定的影响,未来几年中,它还有可能进入普通商业计算领域。


Linux 4.18 内核中移除了 Lustre 文件系统

源自phoronix的消息,在 Linux 4.18 的维护周期中,内核暂存区得到了超过一千个的补丁,共有168000行新代码出现,同时有227000行代码被删除。 为了使内核暂存区变得更轻,Lustre 文件系统在这次变更中已经被删除。

Lustre 文件系统是一个用于集群计算的并行分布式文件系统,已经存在了十五年。虽然超级计算机和其它集群计算设置在使用 Lustre 文件系统,但由于在清除代码库方面缺乏进展,作为临时子系统维护者的 Greg Kroah-Hartman 删除了 Lustre 的代码。与此同时,Lustre 开发人员继续在他们自己的外部树上工作。

现在,Lustre 使用者需要外部依赖才能使用 Lustre,直到将来 Lustre 可以再次进入主线内核树的状态。 Greg KH 数年前已经表达过他对内核 Lustre 文件系统代码状态的不满。其他内核暂存区工作包括各种驱动程序清理、DebugFS 清理、NCPFS/IPX 代码的删除以及各种其他编码改进。