近期一直在尝试搭建一个HA(高可用)的文件存储系统。这样就可以结合目前希奇!使用的file-level dedup paperclip后端来实现新一代的长毛象媒体文件存储,从而可以2x-10x地减少媒体存储的体积,基本可以实现永久保存站外媒体。
这个后端类似已有的Jortage,但是不通过臃肿的s3协议也就不存在它最大的问题:不支持s3 list API。但无论如何还是必须要有HA加持才能算是production ready。
可是不管怎么设计,HA的架构成本和维护成本还是过高。也许努力做出来之后对开销敏感的小站还是不够有吸引力。大站一般都不差钱用现有的s3服务就行,也不会有什么动力搬过来。毕竟这种服务一旦推出就必须保证服务质量,只凭用爱发电是不可能持久的。
所以做了许多算数后我决定终止这个项目的开发。这段时间会慢慢把我的设计和已有的代码放到github上。
也许以后等长毛象(中文)的生态更成熟,减少存储空间带来的成本优势大幅超过维护HA系统的开销后,我会再继续开发。