功能和用例
功能
概述
特定用例
HPC集群
Hadoop集群
下载
支持
文档
快速入门
用户指南
常见问题解答
支持
邮件列表
贡献
关于
常见问题
概述
XtreemFS是开源的吗?
对。
从1.3版开始,XtreemFS的所有组件都使用新的BSD许可证进行许可。
以前的版本是在GPL v2下发布的。
XtreemFS背后是谁?
XtreemFS是作为欧盟资助的研究项目的一部分开发的
轨迹
。有关开发人员列表,请参阅
团队
.
XtreemFS在哪些方面不同于网络文件系统,如NFS或通过Samba/CIFS可访问的文件系统?
与常见的网络文件系统不同,XtreemFS是一个跨多个服务器运行的真正分布式文件系统。
可以通过添加新机器轻松缩放。
通过条带化,它可以使用多个存储服务器的聚合带宽访问文件。
此外,它还提供基于X.509的身份验证和加密支持,以及非现场复制等功能,这使得XtreemFS对于广域网特别有用。
XtreemFS与Lustre在哪些方面不同?
虽然Lustre是为在本地集群中使用而设计的,但XtreemFS是专门为广域网设计的。
它可以从任何地方安装和访问。
复制、RAID和校验和等功能确保了高数据安全性和可用性,并使XtreemFS不易受到单台服务器停机和崩溃的影响。
我有更多关于XtreemFS的问题。
我在哪里可以找到答案?
请将您的问题、意见和建议发送给我们
公开邮件发送清单
它向所有人开放,包括用户和开发人员。
技术
什么是FUSE?
保险丝
(“Userspace中的文件系统”)是一个Linux内核模块,它简化了新文件系统的开发。
它是最新Linux发行版的一部分。
什么是DIR、MRC、OSD?
DIR-目录服务。
MRC、OSD和客户端用于查找其他服务器、解析UUID映射和卷名。
MRC-元数据和副本目录。
存储卷及其目录树和卷中文件的所有元数据。
MRC还存储所有文件的副本的位置。
OSD-对象存储设备。
这是一个常规服务器,而不是一个特殊设备。
这些服务器存储文件内容并实施复制。
什么是BabuDB,MRC为什么使用它?
BabuDB是一个轻量级数据库,用于持久存储大量键值对。
它的开发目的是为MRC提供高效优化的数据库后端。
与谷歌的BigTable类似,它基于LSM-trees。
BabuDB是根据BSD许可证分发的独立库。
有关更多信息,请访问我们的
谷歌代码BabuDB网站
.
XtreemFS的可扩展性限制是什么?
目前,单个卷可能包含多达数千万个文件。
到目前为止,卷和服务的数量没有限制。
什么是基于FQDN/主机名的复制副本选择?
默认情况下,当一个文件的多个副本可用时,客户端将使用随机副本。
如果使用FQDN(主机名)匹配进行复制副本选择,则客户端将使用与自己的主机名相比匹配时间最长的存储服务器。
例如,客户
机器Y.departmentX.comanyZ.com
更喜欢使用
osd1.departmentX.companyZ.com
而不是
osd1.departmentY.companyZ.com
.
这种选择机制在您知道网络配置和地理分布的静态环境中特别有用。
如何将卷放入
fstab(fstab)
?
在fstab中添加以下行:
dir.server.com/volume_name/mnt/point xtreemfs默认值,_netdev,allow_other 0
XtreemFS在哪里存储数据?
MRC和DIR将所有(元数据)数据存储在
巴布DB
,一个针对文件系统元数据存储进行优化的嵌入式数据库。
数据所在的MRC/DIR主机上的本地目录是通过
babudb.base目录
和
babudb.logDir目录
MRC/DIR配置文件中的属性,这些属性指向
/var/lib/xtreemfs/{mrc|dir}/database
和
/var/lib/xtreemfs/{mrc|dir}/db-log
默认情况下。
OSD将其数据以文件和目录的形式存储在OSD的本地文件系统上。
所有对象都位于
对象目录(_D)
OSD配置文件中指定的目录,该目录指向
/var/lib/xtreemfs/objs
默认情况下。
配置
如何配置XtreemFS服务?
对于每个服务,都有一个配置文件
/等/xos/xtreemfs/
.
如果我的OSD/MRC没有正确获得自己的IP/主机名,我该怎么办?
检测本地主机名和公共IP地址并不总是有效的。最好的方法是在配置文件中设置MRC和OSD的公共主机名或IP地址。
设置
主机名=my.host.name
或
主机名=192.168.1.1
什么是.autodiscover?
设置
dir.host=.autodiscover
在osdconfig.properties或mrcconfig.properties中,OSD和MRC可以自动发现本地局域网上的目录服务DIR。
我应该使用哪个Java实现?
OpenJDK或Oracle的JRE?
OpenJDK和Oracle的JRE都与XtreemFS一起工作,并且没有已知的问题。
故障排除
我在哪里可以找到有关已知问题的信息?
我们的
问题跟踪器
包含每个已知问题的票据。
一个或多个XtreemFS服务无法启动。
请查看日志文件,了解出了什么问题。
它们位于
/var/log/xtreemfs。
我无法从远程计算机装载XtreemFS。
请检查服务器端的防火墙设置。
所有端口都可以访问吗?
默认端口为32636(MRC)、32638(DIR)和32640(OSD)。
请确保使用
DIR服务
用于装载的主机名,而不是MRC主机名!
我无法访问已装入的卷。
请确保您对卷根具有足够的访问权限。
超级用户和卷所有者可以通过以下方式更改这些权限
chmod<模式><装入点>
。如果您试图访问属于其他用户的装载点,请确保使用
mount.xtreemfs-o允许其他
.
尝试创建/访问/删除文件时发生I/O错误。
找出错误的最简单方法是检查客户端的错误列表。
运行
xtfsutil--错误<装入点>
查看最近的错误列表。
此外,您可以检查服务的错误日志。
它们位于
/var/log/xtreemfs
.
我无法创建新文件,客户端日志显示“…找不到合适的OSD…”
有两种方法可以检查卷的合适OSD列表:
打开MRC状态页。
可以通过以下方式访问
http://<MRC-host>:30636
在默认情况下。
对于每个卷,都会显示一个合适的OSD列表。
执行
xtfsutil<装入点>
并查看“可选OSD”行。
缺少合适的OSD可能有不同的原因:
一个或多个OSD无法启动。
请检查所有OSD的日志文件和状态页,以确保它们正在运行。
一个或多个操作系统无法在DIR注册或定期报告活动。请检查DIR状态页面,以确保所有操作系统都已注册并处于活动状态。
没有更多OSD具有足够的可用磁盘空间。
请查看OSD状态页以获取有关可用磁盘空间的信息。
请检查分配给该文件的所有OSD是否正在运行并且可以访问。
可按以下方式进行:
获取文件的所有OSD列表:
xtfsutil<文件>
.
检查列表中所有副本(其中一个)中的OSD是否正在运行并且可以访问,例如通过打开状态页或通过
telnet<主机><端口>
.
服务器无法编译,javac抱怨“编码时字符不匹配……”。
确保您的区域设置使用UTF-8或设置用于编译的区域设置:
>导出LANG=en_US.utf8
>生成服务器
.
当我尝试启动XtreemFS服务时,会抛出java.lang.UnsupportedClassVersionError。
请检查您的Java版本是否是最新的。
要运行XtreemFS服务,需要Java 1.6或更高版本。
执行
回音$JAVA_HOME
了解是否
JAVA_主页
指向Java 1.6安装。
如果没有
JAVA_主页
已设置,执行
/usr/bin/java-版本
以确定您的默认Java版本。
我看到消息“buffer was finalized but not freed before!”
在我的服务器日志中。
这意味着什么?
此消息主要用于调试目的。
除非它大量出现,否则它并不表示存在严重问题。
原因是服务器无法将内部使用的缓冲区返回到缓冲池,但是,当显示消息时,会自动执行此操作。
网络界面中的内存统计数据“free/max/total”是什么意思?
为什么“max”不显示系统的总内存?
下面显示的内存统计信息“VM Info/memory”表示执行XtreemFS服务的Java虚拟机(JVM)的内存使用情况。
这个
全部的
值等于JVM分配的内存量。
从这个金额中,
自由的
未分配给XtreemFS,因此从JVM的角度来看是免费的。
这个
全部的
JVM可以将值增加到
最大值
值。
这个
最大值
对应于JVM将尝试使用的最大值。
您可以通过附加参数来增加它
-Xmx4096米
参数设置为相应init脚本中的JAVA_CALL变量。
在本例中,4096m对应于4GB内存。
正在更新
从1.5.x版更新到1.6.x版
请参阅“从版本1.0.0更新到1.1.x”
从1.4.x版更新到1.5.x版
这里什么也不做,这都是自动的:)。
为了安全起见,您应该在更新之前转储MRC数据库。
从1.3.x版更新到1.4.x版
这里什么也不做,这都是自动的:)。
为了安全起见,您应该在更新之前转储MRC数据库。
从1.2.x版更新到1.3.x版
这里什么也不做,这都是自动的:)。
为了安全起见,您应该在更新之前转储MRC数据库。
从1.1.x版更新到1.2.x版
请参阅“从版本1.0.0更新到1.1.x”
从1.0.0版更新到1.1.x版
版本1.1.x为目录服务(DIR)和元数据服务器(MRC)使用了新的协议版本和不同的磁盘数据库格式。
您可以安全地删除DIR数据库,所有服务器将在启动时重新注册。
DIR数据库通常存储在
/var/lib/xtreemfs/dir/
.
在安装新版本之前,必须转储MRC数据库!
使用
xtfs_mrcdbtool-mrc
oncrpc://mrchost:32636
转储/路径/到/转储文件
将数据库保存为XML文件。
检查文件是否存在于MRC主机上且不为空!
关闭MRC
/etc/init.d/xtreemfs-mrc停止
(以及DIR和OSD(如果它们仍在运行)
删除MRC数据库
/var/lib/xtreemfs/mrc/
安装XtreemFS的1.1版本
启动MRC
/etc/init.d/xtreemfs-mrc启动
使用
xtfs_mrcdbtool-mrc
oncrpc://mrchost:32636
恢复/路径/到/转储文件
从XML文件恢复数据库。