物流项目管理中的文件备份策略
物流项目管理中的文件备份策略 文章针对物流管理项目中的文件管理,利用unix下的免费开源包 Rsync+crontab实现基于文件级备份策略,以尽最大可能地节约备份成本(软件费 用、系统存储资源、系统性能开销),为企业提供一种几乎零开销的、高效的备份 策略方案。随着物流行业的快速发展,大量的数据信息,如BOM、各种单证、 报表等在企业的各个生产、运作环节中产生。这些都是企业的核心资源。管理好 这些资源,使得信息的冗余最小,同时保留最有用的信息,当不可预知的灾难发 生时,如何直观、高效地恢复数据,都是每个企业运营过程中所必须面临的问题。
我们需要设计一种备份策略系统来解决这个问题。在Unix(Linux)下有功能强大的 版本控制工具MKS(CVS)可以使用,但是当MKS(CVS)服务器发生不可预期的物 理错误时候,资源就有丢失的危险。作为补充,需要寻找一种免费的、容易部署 的、方便实用的工具来自动完成代码的本地或者异地的备份和迁移。
Rsync是UNIX/Linux系统下的数据镜像备份工具。它的特性如下:可 以镜像保存整个目录树和文件系统;可以很容易做到保持原来文件的权限、时间、 软硬链接等等;无须特殊权限即可安装;优化的流程,文件传输效率高;可以使用rcp、 ssh等方式来传输文件,当然也可以通过直接的socket连接;支持匿名传输。为了配 合定时的策略机制,我们可以选择搭配crontab命令工具,实现计划任务的备份。
本文介绍的所有工具都是免费并且开源的,所以对企业的开销只存在于人工维护, 同样此系统策略也适合家庭和个人使用。以下将从模型设计、核心技术、策略实 施出发,详细分析说明备份策略的实现过程。
一、模型设计 对于数据人们最直观的认识是文件。在对数据备份过程中,我们也希 望在不改变文件夹结构的基础上实现对重复冗余的数据进行删减,从而节省磁盘 空间;同时,没有改变的数据就不需要花额外的时间处理。提高空间效率和时间 效率是最重要的目标。图1是针对需求所设计的模型。图1中椭圆形是文件的文件 域,阴影长方格是文件的数据域。这个模型反映几个问题:备份结果文件结构必 须与备份目标文件结构相同;备份过程需要判断数据是否改变。当数据没有改变 时,文件不需要进行数据拷贝,只需要建立一个新的文件域指向原来的数据域;
当数据改变时,文件需要建立新的文件域和数据域。二、备份策略工作原理 (一)建立Rsync备份策略 图2是备份策略的模型。为了实现增量备份,需要在数据的操作端即 A端拥有可对文件夹的移动、删除权限,如果把备份服务器放在Rsync Server即B 端就不能实现。备份后的文件夹结构清晰明了,能够很容易恢复。但是这样的设 计也存在一定的不足,它增加了数据存储主机B的运算负荷。
(二)文件结构 图3就是文件模块的功能结构图,它反映了所有程序文件之间的关系。
(三) Rsync_exe处理流程(见图4) 这个方案的核心是三个:采用Rsync算法同步备份远程数据,利用计 算来换取最小的网络传输开销;采用硬链接控制重复文件对磁盘空间的开销;采用 这样的流程,产生的文件夹可以利用其本身的创建时间作为时间戳,可以对用户 产生很直观的时间概念。
同时这个设计也存在一个问题:硬链接不能跨越文件系统,就算是同 一种文件系统也不可以,所以系统的扩展性受到制约。如果使用在本地备份,那 么这个方案还是可行的。如果利用到网络中多个存储节点的时候就会产生问题。
为了解决这种问题,数据在进行远程迁移的时候采用Rsync算法来实现差异备份 迁移。
三、物流企业实际运用中的体验 贵州商业储运(集团)有限公司是一家有五十余年历史的国有企业,由 于客户网络的日趋复杂,贵州商储必须借用先进的信息技术改造传统的管理体系。
在实施文件级备份策略后,当采用策略是每周五个工作日的周循环备份,每周六 上午1:00做全备份,剩下4个工作日作增量备份。例如,当前目标的数据量是10GB, 按照全备份策略,所需要的空间是10GB×5=50GB,然而使用增量备份,每次增 量备份大小为原数据大小的50%,需要的数据空间约为 10GB+5GB+5GB+5GB+5GB=30GB,即可以节约40%的空间,而且随着备份频率 的增加,备份的效率能进一步提高。图5显示了效率提高过程。四、结束语 本策略已成功实现并使用,在几乎零开支的基础上高性能地提高企业 的数据资源安全性、稳定性。虽然有跨文件系统的限制,但是相信随着Unix/Linux 技术的进步,不久的将来就能产生更好的替代解决方案。
作者:周雪 来源:中国集体经济 2012年3期