下面是小编为大家整理的交通云存储系统视频、图片混合云存储设计方案（全文）,供大家参考。
交通云存储系统视频、图片混合云存储设计方案 交通云存储系统应用于视频、图片混合存储时，主要是承担整个系统内的视频/图片的数据写入/读取工作。云存储系统一方面采用了基于云架构的分布式集群设计和虚拟化设计，在系统内部实现了多设备协同工作、性能和资源的虚拟整合，最大限度利用了硬件资源和存储空间。另一方面，通过将云存储的存储功能、管理功能进行打包，通过开放透明的应用接口和简单易用的管理界面，与上层应用平台整合后，为整个交通监控系统提供了高效、可靠的数据存储服务。
系统物理拓扑 视频图片混合云存储系统主要由存储管理节点（服务器）和存储节点（物理存储设备）两部分组成。系统内部需要配置的元数据信息由云存储管理服务器统一管理，云存储管理服务器还需要负责集群内部的负载均衡，失败替换等管理职能；云存储系统可以组建海量的存储资源池，容量分配不受物理硬盘数量的限制；并且存储容量可进行线性在线扩容，性能和容量的扩展都可以通过在线扩展完成。
视频图片混合云存储物理结构如下图所示：
图1. 视频图片混合云存储物理结构图 交通云存储管理节点（ CVMN ）：部署存储管理服务器，是交通云存储系统的核心节点，作为云存储系统的调度中心负责云存储系统资源管理、索引管理、计划管理、策略调度等。
根据项目对存储容量需求、前端支撑数目、性能要求、可靠性要求，存储管理节点可以按照两种方式部署：HA 部署、集群部署。
交通云存储节点（ CVSN ）：作为云存储系统业务的具体执行者负责视频数据存储、读取、存储设备管理、存储空间管理等。
系统功能设计 交通云存储系统面向视频、图片应用定制化开发，提供丰富的功能接口供上层交通综合管控平台调用，主要功能如下图所示：
图2. 交通云存储系统功能图 1.1.1 视频存储功能 功能项
功能说明
视频录像 系统可以按照用户制定的计划保存前端设备采集的录像数据，录像类型、录像头由用户指定，存储开启相关的资源。
动态修订录像类型：前端采集视频数据过程中，按报警类型可以修改录像的类型，修改后采集的视频数据即时保存到系统中，并在数据保存类型上得到反映。
视频检索 用户可以按监控点编号、录像类型、时间组合、锁定、标注等条件查询录像数据。
视频回放 支持根据监控点编号以及时间段、录像类型对录像数据进行回放。
支持根据监控点编号以及时间段对录像数据进行回放时间定位。
支持快放、慢放。
支持倒序回放。
支持 I 帧回放。
支持手动停止回放。
视频下载 支持根据监控点编号以及时间段对录像数据进行下载。
支持断点续传。
视频锁定 支持指定的录像片段进行锁定，锁定后的数据不被循环覆盖掉。
支持已锁定的录像片段锁定时长到期自动解锁。
视频标注 对录像数据信息所对应的标签进行打标、存储、备份等操作； 对录像等数据信息的标签信息进行查询、检索、筛选工作； 对录像等数据信息所对应的标签进行修改、删除等操作。
视频删除 支持根据监控点编号、录像时间、录像类型删除视频录像。
周期覆盖 按策略支持按周期、容量进行录像数据的周期覆盖式存储。
1.1.2 录像管理功能 功能项
功能说明
录像计划管理 关联平台配置好的录像计划，并将录像计划同步到各个存储节点。
录像计划执行 根据配置要求确定通道和存储地址，负责将录像数据向下层模块的写入操作。
移动侦测录像 根据设定移动侦测区域自动执行相应的录像任务 事件录像 根据具体事件执行录像任务，优先级高于定时和移动侦测录像 1.1.3 图片存储功能 功能项 功能说明 图片写入 支持图片数据写入存储，返回 URL 地址 图片下载 支持按时间段下载图片。
支持浏览器 http 的 URL 方式下载图片。
图片写入 支持图片数据写入存储，返回 URL 地址 图片下载 支持按时间段下载图片。
支持浏览器 http 的 URL 方式下载图片。
图片压缩 支持图片大小压缩和尺寸缩放。
图片锁定 支持指定的图片进行锁定，锁定后的数据不被循环覆盖掉。
支持已锁定的图片锁定时长到期自动解锁。
图片删除 支持单张图片 URL 方式删除。
支持按照时间段删除图片。
周期覆盖 按策略支持按周期、容量进行图片数据的周期覆盖式存储。
1.1.4 系统管理功能 功能项
功能说明
集群化管理 视频录像索引采用集群方式，无单点故障，保证索引数据的安全性。
集群采用快速索引管理，能根据用户的各种查询条件（监控点编号、录像类型、时间段等）进行快速定位。
负载均衡管理 集群采用虚拟 IP 技术，对外提供统一的入口 IP 形式，将集群的访问在集群中根据各种算法进行分摊，降低单个节点的访问压力。
后端存储节点压力进行实时监控，当单台存储节点压力过大时能根据智能算法将业务平滑迁移至其他存储节点，达到整个集群间负载均衡目的。
虚拟化管理 支持对存储设备统一管理，虚拟化为资源池，且将虚拟资源划分为块进行管理。
自动精简管理 动态分配存储空间，通过实时的数据录像情况调整和分配系统内存储资源空间，提高系统存储空间利用率。
分散存储管理 将前端数据通过特定算法，平滑分散至各个存储节点，从而降低大量回放对单台存储节点的压力。
存储空间管理 支持为摄像机随机分配录像空间，且分配的存储空间可灵活调整，支持摄像机恢复录像时，记录日志。
1.1.5 运维管理功能 功能项
功能说明
系统信息获取 支持系统信息：版本、CPU、内存、网卡、磁盘等信息的获取。
系统故障告警 支持系统故障（CPU、内存等超过阈值）主动告警到运维平台。
存储设备告警 支持设备故障、掉线会主动告警到运维平台。
标准协议对接 支持标准的 SNMP 协议对接。
系统业务流程 下面分别介绍视频存储、检索、读取、补录、备份以及图片存储、检索、下载流程。
1.1.6 视频存储流程 ：
视频数据存储：交通综合管控平台向交通云存储管理节点下发视频录像计划，存储管理节点根据各存储节点的负载状况，给存储节点的接入服务软件同步录像计划。接入服务软件获取录像计划后，直接访问监控点 IPC 获取到视频数据，再通过调用数据存储软件将数据写入存储节点中。
当监控点录像计划发生变更，会及时通知存储管理服务器；由存储管理服务器统一控制并同步给存储节点。存储节点定期向管理服务器获取录像计划，并上报自身状态。
存储节点设备之间能够自动进行均衡负载，保证在故障时做到自动切换，不间断的提供视频数据存储服务。
详细的视频存储流程如下图所示：
图3. 视频存储流程 流程特点：
1 ）录像数据是直写磁盘方式，优化了读写性能；已经写入存储节点的数据不会受系统和其他设备的影响导致丢失。
2 ）视频数据是分散存储，根据需求将 IPC 的数据按照算法分散到不同的存储服务器上，提高数据读写的速度，在可靠性和安全性上得到了加强。
1.1.7 视频检索流程 视频数据检索：视频监控平台检索视频录像信息，视频监控平台向交通云存储系统存储管理服务器发送检索指令，存储管理服务器查询本地数据库直接将检索信息发送到视频监控平台，采用一级检索方式完成整个流程。
详细的视频检索流程如下图所示：
图4. 视频检索流程 流程特点：独有的一级索引技术，当视频信息完成存储后立刻在云存储系统管理平台生成一套数据对应的索引表。改进了传统的索引机制，使得读取仅通过一次查询就能够精确定位到存储的数据。
1.1.8 视频读取流程 视频数据读取：用户通过视频监控平台调用监控点视频时，视频监控平台向交通云存储系统发送获取数据的请求，存储管理服务器转发请求到存储节点，数据从存储节点由数据管理服务软件直接（或转发）送至调用者。
详细的视频读取流程如下图所示：
图5. 视频读取流程 流程特点：视频数据是分散存储的，便于数据的快速提取及分析，提高了数据读取的速度，在可靠性和安全性上得到了加强。
1.1.9 图片存储流程 云存储的图片存储流由两种不同流程组成：1、图片直存方式；2、图片非直存方式。图片直存云存储的方式可以省去交通综合管控平台的接入服务器，但直存云存储方案目前仅支持海康威视抓拍机单元。非直存云存储方式对抓拍机单元无限制，但对于交通综合管控平台的接入服务器的数量和要求有变化。
1.1.9.1 图片直存流程 图片 数据存储：直存流程由卡口抓拍设备发起，抓拍机抓取图片后主动写入云存储中。写入完成后将云存储返回的 URL 地址上传至交通综合管控平台的接入服务器，由接入服务器写入数据库中保存。
存储节点设备之间能够自动进行均衡负载，保证在故障时做到自动切换，不间断的提供图片数据的存储业务。
详细的图片存储流程如下图所示：
图6. 图片直存流程 流程特点：
1 ）图片数据由前端抓拍机直写入云存储，节省了平台大量接入服务器。
2 ）图片数据的存储方案提供前端较高的兼容性能，能够支持多厂商前端的图片写入。
3 ）图片数据是分散存储，将接入服务器推送的图片按照算法分散到不同的存储服务器上，提高数据写的速度，在可靠性和安全性上得到了加强。
1.1.9.2 图片非直存流程 图片：
数据存储：交通综合管控平台向交通云存储管理节点索要图片存储资源，存储管理节点直接分配存储资源给交通综合管控平台，平台的接入服务器开始将图片数据推送至指定存储资源内。
存储节点设备之间能够自动进行均衡负载，保证在故障时做到自动切换，不间断的提供图片数据的存储业务。
详细的图片存储流程如下图所示：
图7. 图片非直存流程 流程特点：
1 ）部署接入服务器转发图片数据，能兼容更多前端抓拍设备； 2 ）图片数据是分散存储，将接入服务器推送的图片按照算法分散到不同的存储服务器上，提高数据写的速度，在可靠性和安全性上得到了加强。
1.1.10 图片检索流程 图片数据的索引数据是存储在交通综合管控平台自身的数据库中，包含云存
储 URL 地址、过车信息等。因此图片检索流程由平台完成。
1.1.11 图片下载流程 图片数据 下载：用户通过交通综合管控平台下载监控点图片时，交通综合管控平台向交通云存储系统发送下载数据的请求，存储管理服务器转发请求到存储节点，数据从存储节点由数据管理服务软件直接（或转发）送至交通综合管控平台。
详细的图片下载流程如下图所示：
图8. 图片下载流程 流程优点：图片数据是分散存储的，便于数据的快速提取及分析，提高了数据读取的速度，在可靠性和安全性上得到了加强。
云存储管理服务器设计 1.1.12 数量配置 考虑到未来系统中的前端录像通道和抓拍车道数量总和会超过 1024 路，故采用管理服务器集群模式。集群部署可以保持线性增长，三台管理服务器集群可以支撑 4000 路以内的摄像机通道规模。如果摄像机通道规模更大可以通过增加管理服务器台数来提高集群的性能，如 5 台管理服务器可支撑 6000 路、7 台管理服务器可支撑 8000 路。管理服务器的数量必须为奇数。
管理节点集群部署是一种高可靠性、高稳定性的部署方式，此种方式是采用三台或三台以上奇数台服务器组成，安装交通云存储管理软件并运行集群工作模式，形成交通云存储管理集群。
此种集群工作模式，可实现单台或多台服务器应用的故障切换和负载均衡，提高了交通云存储管理节点的可靠性和稳定性，系统性能也得到了很大的提高，是大型视频监控项目首选的部署方式。
集群部署物理拓扑如下图所示：
图9. 管理节点集群部署方式
1.1.13 硬件配置
存储管理服务器是基于 Intel 最新的 Romley 平台开发的一款高性能双路服务器，该服务器采用了全新的架构设计：在 CPU 内集成了 PCI-E，为 CPU 互联提供更多的 QPI 总线，更多的 CPU 内核数量等都直接带来了性能的大幅提升，相比上一代性能提升最高可达 80%。存储服务器最大可以支持内存容量 512GB，集成高性能 SAS 控制器，支持最多达 8 块热插拔 3.5 寸 SAS/SATA 硬盘或 2.5 寸SAS/SATA 硬盘，内部横插卡的设计可以满足全高扩展卡的需求，强大的扩展性足以支撑关键任务的运行，满足资源密集型应用的需要。更多的 PCI-E 插槽、更高速率的 PCI-E 总线让用户轻松实现扩展。存储管理服务器非常适用于对服务器性能、扩展性及可靠性要求苛刻的数据中心环境。
1 ）产品特点：
全新处理器架构带来性能飚升； 真正企业级的可靠和可用性； IO 超强扩展； 横插卡设计支持全高扩展卡； 模块化设计，免工具拆卸。
2 ）配置要求：
E5-2620 V2(6 核 2.1GHz)×2/8GB DDR3 ECC×4/600G 15K SAS×2/热插拔/DVD/1000M NIC×2/(1+1)冗余电源/导轨/2U 云存储存储设备设计 1.1.14 存储容量计算 混合云存储的存储容量包括视频容量计算和图片容量计算两部分。
1.1.14.1 视频监控录像存储容量 视频录像数据包括：监控摄像机全天候定时录像、事件触发录像、手动录像。
视频监控系统一般采用 H.264 编码算法：
1 ）设计码流为 1080P@30 帧（1920×1080）6～8Mbps，这样的算法和带宽可以确保图像清晰度、色彩还原及编解码延时等几个关键指标的综合最佳效果。
1 路 1080P 摄像机按照这样的码流计算 30 天的存储空间：8Mbps×3600 秒×24 小时×30 天/1024/1024/8=2.48TB， 根据具体情况（共规划建设视频监控系统 XX 套），存储容量总需求为：
XXTB，系统建设存储设 备总容量约为 XX TB 。
2 ）设计码流为 720P@25 帧（1280×720）3～4Mbps，这样的算法和带宽可以确保图像清晰度、色彩还原及编解码延时等几个关键指标的综合最佳效果。
1 路 720P 摄像机按照这样的码流计算 30 天的存储空间：4Mbps×3600 秒×24 小时×30 天/1024/1024/8=1.24TB， 根据具体情况（共规划...
推荐访问:交通云存储系统视频、图片混合云存储设计方案 设计方案 混合 存储系统