应用加特林原理解决mogilefs 写入速度问题


之前采用一个mogilefs集群来存储系统的海量文件,无奈文件增加太快,而mogilefs的写入速度貌似到了一个极限,已经不能满足每天新增文件的需求了。这个极限,实测大概在50万个文件左右每天。
为了解决写入速度问题,只好再增加几套mogilefs集群,组成一个二级的集群,然后大家一起传。

开发过程比较简单,在现有的 mogilefs.py 的基础上,增加上传下载的策略。

实际效果还有待考察,预期它将拥有加特林机枪一样的旺盛火力,赶紧把积压的那坨文件吐吐干净吧!

Comments

Comment viewing options

Select your preferred way to display the comments and click "Save settings" to activate your changes.

50万个每天的话

50万个每天的话 按一天8小时算的话 每秒钟也就不到20个 为什么这样就到极限了呢?

可能是文件比较大的

可能是文件比较大的缘故:) 我说了个数,但没说每个对大小。

have a good experience!

have a good experience!