LOADING...
LOADING...
LOADING...
当前位置: 玩币族首页 > 区块链资产 > 为什么要用QKFile存储大量数据?

为什么要用QKFile存储大量数据?

2020-03-28 上若无旻 来源:区块链网络

为什么要用QKFile存储大量数据?QKFile最吸引人的特点是什么?哪些地方是大家担心的?本篇文章就为大家一一做讲解

针对于这些有大量数据处理需求的用户来说,QKFile吸引他们的关键因素以及他们的忧虑是什么?

一、在大量(多达10TB)二进制文件通过非常耗时的模拟产生。因此恰当地保存这些文件非常重要(一旦丢失文件,意味着得重新模拟,耗时长达几个月)。把文件分享给同事也很重要,不幸的是,在实际操作中这很难实现。比如说,我在欧洲工作,就无法下载存储在斯坦福数据库几TB的模拟数据集,要花很长的时间才能办到。

二、就目前了解到的QKFile相关信息来说,重点是能通过QKFile分布式网络快速寻找到离你最近的节点(人),从而提高文件分享速度,不再是基于一个中央储存库。但同时也了解到这样就不能再复制了,网络中的每个节点只存储它“感兴趣”的内容。

三、大多数公司把大型工作负载存储在 EMC Isilon 或 Netapp,我的工作是存储销售这块,几乎所有的顾客都想把大量的工作档案存储在 AMS (亚马逊旗下云计算服务平台)或 Azure(微软云计算服务平台) – 这总是比较容易实现。因此,档案存储用例会是一个有趣的切入点,尤其是在数据生成量达到PB级的行业,比如媒体或研究领域。

四、我在一家网络用户行为研究公司工作,类似于谷歌分析(Google Analysis)。跟踪代码每天产生几TB的数据,我们把数据存储在 AWS S3,设置有效期限,把总量控制在几百TB内。我们正在寻求减少数据重复的方法,以节约成本。每天有数百万个时域(session),一旦配置QKFile后,意味着整个网络上会有数百万个QKFile节点(短期的,几秒到几十分钟)。我相信这能释放QKFile的最大潜力。

五、当用户访问一个站点时,我们监看和记录网页产生的所有DOM更改,保存 session,便于之后用于分析。目前我们需要这些东西:

1. 版本控制(version control)。现在我们用的是一种差异算法来计算DOM更改,把原始数据和差异都存入文档。通过QKFile的树对象技术,我们能够减少很多重复内容,节约大量空间。

2. 可靠的push (或上传) 方法。我用 PubSub(发布/订阅模式)演示过,似乎还无法保证内容接收。因为标签可能随时关闭,我们需要在微秒之内将数据push到后台。

3.真正的千万量级网络节点,让网络更开放、更安全、速度更快

六、我的理解是,它允许我们在一个地点随机且可根据需求更改的广义系统中,可以把一切事物都看做节点、服务和工作者 — 比如,它可以让你模糊服务端和客户端之间的区别。取代了强制将服务端和客户端进行二分的方式,让你可以在一台接近数据的设备或一台距离很远的设备上进行分析,或者将数据复制到一个新的地点进行分析。某种程度上这样简化了你的代码基,因为你可以少编写一些能让客户端应用、工作者重复利用的库和服务,无论他们身在何处。

—-

编译者/作者:上若无旻

玩币族申明:玩币族作为开放的资讯翻译/分享平台,所提供的所有资讯仅代表作者个人观点,与玩币族平台立场无关,且不构成任何投资理财建议。文章版权归原作者所有。

LOADING...
LOADING...