之前采用一个mogilefs集群来存储系统的海量文件,无奈文件增加太快,而mogilefs的写入速度貌似到了一个极限,已经不能满足每天新增文件的需求了。这个极限,实测大概在50万个文件左右每天。 为了解决写入速度问题,只好再增加几套mogilefs集群,组成一个二级的集群,然后大家一起传。
开发过程比较简单,在现有的 mogilefs.py 的基础上,增加上传下载的策略。
实际效果还有待考察,预期它将拥有加特林机枪一样的旺盛火力,赶紧把积压的那坨文件吐吐干净吧!
50万个每天的话 按一天8小时算的话 每秒钟也就不到20个 为什么这样就到极限了呢?
可能是文件比较大的缘故:) 我说了个数,但没说每个对大小。
have a good experience!
Comments
50万个每天的话
50万个每天的话 按一天8小时算的话 每秒钟也就不到20个 为什么这样就到极限了呢?
可能是文件比较大的
可能是文件比较大的缘故:) 我说了个数,但没说每个对大小。
have a good experience!
have a good experience!