文件百度是如何给每个人免费提供2TB存储空间的

前段 在使用百度网  突然 百度网可以免 取2TB空啦

网硬大家可能都或多或少的接触 不得不在万物皆云的代里 是一非常好的网工具 而我 到掉渣的免用来硬空 直就是硬 始使用的候真是了空 各折 做他那里所的任  到来也才充了5G左右。在好了 随随便便、 松松就有了2T的空 。

而突如其来的2T空是如何 的呢

事是 滴

假如我想要每个用提供1G的网存空 。

如果服器上有一 1000G的硬可以全部用提供数据存 如果每个用分配1G的最大存空 那能分配多少个用使用呢

你一定是1000/1=1000个用 。

但是事上你分配了你会 每个用平根本不会上 1G的西将容量占的 的有多有少但平均用平只上 50M的文件 也就是 如果你将1000G的硬分 1000个人使用但只有效利用了其中的50M*1000=50G的空剩余950G的空基本都完全浪了 。那怎解决呢

你可以通一下将 1000G的空分配 20000个用使用 每个人的上上限容量是1G 但每人平 是平均上 50M的数据 那 20000*50M=1000G 下子就把宝的服器上的存空充分利用了 。但你又怕 分配 20000个人后 万一某一刻人突然多上点数据 那用不是就察出来你分人家的1G空是假的了 所以可以不分配那多人 只分配 19000人剩下一些空做急之用 。

突然 一下子将可分配的用数量翻了 19倍啊 了不起。那有没有法更加有效的利用一下呢

如果我有1000个以上的服器 一个服器上有1000G空 那我每个服器上都要留下50G的空白空以用突然上大数据 致数据塞的情况 那我 1000个服器上就空出了 1000台*50G=50000G的空被浪了 多可惜。所以攻城 明了存集群 使得一个用的数据可以被分配在多个服器上存 但在用那看起来只是一个1G的 空 那就没必要在每个服器上留出急的空了 甚至可以充分的将前一个服器塞后 在将数据往下一个服器中塞。 保了服器空的最大利用 如果某一刻管理 用都在狂上数据在一个大模用群下 的概率少之又少 致我有提供的空不了没系 只需要随手加几硬或者服器就解决了 。

好吧 下子我的服器空利用高多了 可以将一定量的空分配最多的用使用了 。但有没有更好的改方案呢

管理有一天  即使每个用平均下来只存 50M的西 但 50M也不是一蹴而就的是随着1-2年的使用慢慢的达到个数量的 也就是 一个新的用 注册我的网空 不会上 西 或者只上一点非常小的西。那我每一个用都初始分配了 50M的空即使将来2年后他会填 50M 但期的空就有很多是浪的啊。所以明的攻城 既然我可以分布式、集群式存 一个用的数据可以分布在多个服器上 那我就假一始就一个新注册的用提供0M的空将来他用多少 我就他提供多少存空 就底的保硬的利用了 。但用的前端是要示1G的。

工程的个点子使得我在建立网初期能用 1台 1000G的服器提供了大 1000000人来注册和使用随着注册的人多了我也有了 也可以不断增加服器以提供他后期的存

了 。同 因一部分服器完成了一年多 我的 成本也下来了 。

那…就束了 

若是箱提供商的 的利用率高了 。但网就不一了 。

明的工程 不同于箱 大家的内容和附件大多数都是自 的和不同的。但网上大家上的西很多都是重的。

比如 三今天下了一部《TOKYO HOT》上到了自己的网上 李四在三天后也下了一模一的《TOKYO HOT》上到了网硬上 随着用的增多你会 共有1000个人上了1000份一模一的文件到你宝的服器空上所以工程想出一个法既然是一的文

件我就只存一份不久好啦 然后在用的前端示是没人都有一份不久行啦。当某些用要

除个文件的候 我并不真的除 只需要在前端示似乎除了 但后端一直保留着以供其他有此文件的用下 。直到所有使用此文件的用都除了个文件我再真的将其除吧。

子随着存的数据越来越多 注册的用越来越多其上的重数据越来越多 。你 的重文件存的效率越来越大。 算下来似乎每个人上的不重的文件只能平均1M/用 。下子你可以提供超50倍的用使用您有限的空了 。

但伴随着使用你又 一个律

三上的《TOKYO HOT N0124》和李四上的《TH n124》是同一个文件 只不文件名不一 道我就不能 出他是一个文件 然后只将其分 不同的用保存成不同的文件名不久行啦确可行 但要利用一些 文件相同性的算法 例如MD5等。只要两个文件的MD5 一文件大小一 我就 它是相同的文件 只需要保存一份文件并不同的用

作不同的文件名就好了 。

有一天你  因每一个文件都需要算MD5  致CPU 荷很大 而且本来一的文件非要浪 上回来才可以 一致性能改一下 

明的工程写了个小件或小插件 美其名曰 “上控件” 将算MD5的工作利用个件交了上用的 来完成 一旦算出用要上的数据和服器上已存的某个数据是一的就干脆不用上了 直接在用那里 上个文件已按照XX文件名上成功了 。个程几乎是瞬搞定了 并其起了个高富的名字“秒” 

通以上 多步你 本来你只能 1000用 提供网空的 多改 法后在用端示1G空不的情况下 近乎可以 1000000个用 提供网空了 。

若是您哪天心情好 外宣 我要将每个用的存空上限提升到1TB 。那每个用平均是只上 50M数据 只有极个的用上了突破1G原始空的数据你会 所付出的成本近乎是微乎其微的。

辛勤的攻城 在如何更有效率的利用服器提供的磁空在不屑努力和挖掘着……