GIS数据存储
选择文件存储设备 (NAS/SAN) 时,实时一致性和性能是需要考虑的两大基本要求。在选择文件存储设备之前,请务必了解服务器目录和配置存储。
1、实时一致性
选择一种存储设备,一旦操作和相应的写入完成,就可以立即从计算集群中的任何节点读取文件。使用 NFS 时,必须设置相应配置以确保各个节点能够读取一致的数据,并避免使用过期的数据缓存。
2、性能
选择性能优异的存储设备,才能减少随机 I/O 和小文件带来的影响。不同存储设备在面对不同特点的 I/O 时,读写性能有很大差异。小 I/O 的性能非常重要,因为 ArcGIS Enterprise 的 I/O 操作(例如 ArcGIS 与配置仓库、缓存包切片等进行交互的操作)就是大量的随机小 I/O。
这通常意味着已针对大 I/O 顺序读取和写入(通常发生在图像和视频中)进行了优化的设备不适合与 ArcGIS Enterprise 组件一起使用。
如果选择的文件存储不能很好地处理小的随机 I/O,用户可能会遇到响应时间显著增加甚至项目绘制失败的情况。
可见,存储集群的性能,尤其是随机小 I/O 的性能,是 GIS 软件的一个硬性要求。
在和用户实际生产对接中,我们发现,数据共享存储面临两个重要挑战:
共享存储中小 I/O 读写性能,制约了实景建模等项目的绘制进度。
普通的数据共享存储(例如 NAS 阵列、或普通的分布式文件存储)无法支撑大规模的Smart3D 或 ContextCapture 计算集群进行并发处理。
在一个实际项目中,用户基于原有的一套分布式存储,使用瞰景 Smart3D 进行实景建模,单套存储软件只能支撑 60 台计算节点,无论从存储的使用效率、还是计算效能利用率的角度上看,都难以达到用户的预期。焱融科技工程师,基于同样的服务器,搭建了 YRCloudFile 存储集群,使用 YRCloudFile Windows 客户端,最大支撑到了 600 台计算节点的规模,将原来 3 天完成的绘制工作,缩短到 2 小时完成。
在 GIS 三维实景建模中的应用,是 YRCloudFile 发挥性能和大规模并发的又一个典型应用场景,通过高性能存储 YRCloudFile 作为支撑,将大幅提升地理信息项目的工作效率。
热门知识