数据储存方法及数据储存系统的利记博彩app
【技术领域】
[0001]本发明涉及计算机应用技术领域，尤其涉及一种数据储存方法及数据储存系统。
【背景技术】
[0002]现有的监控数据储存系统，通常利用构建在本地文件系统上的分布式文件系统来管理储存在多个硬盘上的音视频数据。例如，HDFS (Hadoop分布式文件系统)或CEPH (—种分布式对象存储和文件系统)通常构建在本地文件系统如ext4、XFS之上，HDFS分布式文件系统或CEPH分布式文件系统中的数据以文件的形式存储在本地文件系统。众所周知，诸如ext4、XFS等通用文件系统目录层次深、元数据复杂容易出现数据不一致的问题，底层文件系统出错又会造成构建于其上的分布式文件系统不稳定，如数据丢失等问题。诸如ext4、XFS等通用文件系统都有页高速缓存(PAGE CACHE)，写入的数据不会被立即刷入存储介质，如果机器异常断电就会面临数据丢失的风险。另外随着数据长期不停的写入、更新、删除，这些通用文件系统容易产生磁盘碎片，不仅读写I/O性能会下降而且会降低磁盘使用寿命O
[0003]另一方面，传统的安防监控录像过程中，前端设备(如IPC摄像机)所采集的数据的写入通道发生故障，如接收前端数据并负责存储的客户端因机器异常掉电而无法工作时，前端设备所采集的数据就会因绑定的写入通道断开而丢失数据，这种方式数据安全性不高，数据调度不灵活，数据保护性差。
【发明内容】
[0004]本发明为了克服上述现有技术存在的缺陷，提供一种数据储存方法及数据存储系统，其能够在数据节点不可用时，保证系统正常运行并防止数据丢失。
[0005]本发明提供一种数据储存方法，包括:云储存客户端接收前端设备采集的数据，将所采集的数据写入云储存集群，所述云储存集群包括多个数据节点，该步骤包括:所述云储存客户端将所采集的数据写入数据节点；所述数据节点将所采集的数据直接写入第一硬盘；以及所述数据节点向所述第一硬盘发送刷缓存指令，指示所述第一硬盘将所写入的数据持久化所述第一硬盘的盘片，其中，所采集的数据不能写入所述云储存集群时，执行紧急处理模式。
[0006]优选地，所述第一硬盘上构建有分布式文件系统，所述数据节点直接读写所述第一硬盘。
[0007]优选地，当满足如下一条或多条条件时，所述数据节点向所述第一硬盘发送刷缓存指令:写入到所述第一硬盘的数据达到预定阈值；所述刷缓存指令的超时时间达到预定阈值。
[0008]优选地，所述数据节点周期性向所述第一硬盘发送刷缓存指令。
[0009]优选地，所述云储存客户端与所述数据节点部署在同一设备上。
[0010]优选地，所述紧急处理模式包括:所述前端设备通过云端与另一云储存客户端连接，以使所述前端设备继续运行。
[0011]优选地，所述紧急处理模式包括:通过所述数据节点和/或其他数据节点，将所述采集数据继续写入所述云储存集群。
[0012]优选地，通过所述数据节点，将所述采集数据继续写入所述云储存集群包括:所述云储存客户端继续将所采集的数据写入所述数据节点；以及所述数据节点将该数据节点缓存的所采集的数据备份到第二硬盘。
[0013]优选地，所述第二硬盘上构建有分布式文件系统，所述数据节点直接读写所述第二硬盘，其中，将所述数据节点缓存的所采集的数据备份到第二硬盘还包括:所述数据节点还向所述第二硬盘发送刷缓存指令，指示所述第二硬盘将写入所述第二硬盘的数据持久化到存储介质。
[0014]优选地，所述数据节点缓存的所采集的数据包括:未写入所述第一硬盘的所采集的数据和/或所述第一硬盘返回刷缓存成功指令回复前已写入所述第一硬盘的所采集的数据。
[0015]优选地，所采集的数据不能写入所述云储存集群至少包括:所述数据节点及所述云储存客户端所在设备异常断电，其中，所述设备异常断电时，由一备用电源向所述设备供电。
[0016]优选地，所述第一硬盘为机械硬盘，所述第二硬盘为固态硬盘。
[0017]根据本发明的又一方面，还提供一种数据储存系统，用于存储前端设备采集的数据，包括:多个云储存客户端，各所述云储存客户端通过云端与一个或多个所述前端设备连接，各所述云储存客户端配置成接收其连接的前端设备所采集的数据，并将所采集的数据写入所述数据节点；以及云储存集群，包括多个所述数据节点，其中，各所述数据节点配置成，将缓存的所采集的数据直接写入第一硬盘；以及向所述第一硬盘发送刷缓存指令，指示所述第一硬盘将所写入的数据持久化所述第一硬盘的盘片，其中，所采集的数据不能写入所述云储存集群时，所述数据储存系统执行紧急处理模式。
[0018]优选地，各数据节点管理一个或多个第一硬盘及一个或多个第二硬盘，其中，所述第二硬盘配置成在所述紧急处理模式时，备份所述数据节点中缓存的所采集的数据。
[0019]优选地，所述第二硬盘还配置成储存元数据。
[0020]优选地，所述数据节点至多与一个所述云储存客户端部署在同一设备上。优选地，所述前端设备为摄像前端设备，所采集的数据为音视频数据。
[0021]相比现有技术，本发明的优势在于:
[0022]I)绕开本地通用文件系统直接读写硬盘，并通过向硬盘发送刷缓存指令的方式更精准的控制数据的写入，避免了本地文件系统因设备异常断电出现数据不一致导致数据丢失。
[0023]2)在数据无法写入时，通过将数据节点未写入第一硬盘的数据备份到第二硬盘中，来解决设备异常断电时的数据丢失问题。
[0024]3)在数据无法写入时，通过将其负责的前端设备调度到其他正常工作的云储存客户端上继续录像，来解决前端设备无法继续正常录像和丢失数据的问题。
[0025]4)本发明提供的数据系统利用云技术保证了在数据无法写入时，数据传输通道的每一个环节都不会丢失数据，保证了数据安全。
【附图说明】
[0026]通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。
[0027]图1示出了根据本发明实施例的数据储存系统的示意图。
[0028]图2示出了根据本发明实施例的数据储存方法的流程图。
[0029]图3示出了根据本发明实施例的数据节点写数据的流程图。
[0030]图4示出了根据本发明实施例的数据节点向机械硬盘写数据的示意图。
[0031]图5示出了根据本发明实施例的紧急处理模式的流程图。
[0032]图6示出了根据本发明实施例的紧急处理模式调度云储存客户端的示意图。
[0033]图7示出了根据本发明实施例的紧急处理模式写数据的示意图。
【具体实施方式】
[0034]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
[0035]参考图1，图1示出了根据本发明实施例的数据储存系统的示意图。数据储存系统100包括多个前端设备110、由多个数据节点122组成的云储存集群以及多个云储存客户端121。在一些实施例中，云储存集群还包