实战 | 打造新平台，赋能期货保证金安全存管监控体系高水平发展
文 / 中国期货市场监控中心信息科技一部副总监 崔慧阳
期货保证金安全存管监控制度是期货市场监管制度的一项重大创新，具有鲜明的中国特色，在全球范围具有独创性。该制度的全面落地，依托中国期货市场监控中心（以下简称“中国期货监控”）建设维护的期货保证金安全存管监控系统。为适应期货市场的蓬勃发展、业务的快速创新，及时应对市场发展新阶段新形势下监管面临的更高要求和更大挑战，中国期货监控立足新起点，坚持问题导向,从技术路线预研和业务模式选型出发，运用虚拟化容器、微服务架构、分布式内存数据库等新技术，并采用国际化、前瞻性的系统设计理念，建成投产了新一代期货保证金安全存管监控系统（以下简称“新一代保证金监控系统”）。新一代保证金监控系统实现了五个新突破：一是完善了具有中国特色、国际视野的期货保证金安全存管监控体系，全面支持商品类和金融类期货期权交易数据监管，支持境内外多类型参与主体、多层级结算体系交易数据监管，支持以人民币、美金、港币等多币种结算数据监管。二是建立了数据入库逻辑隔离机制，构建适应大数据、高并发场景下的数据接收模型，数据接收效率提高了60%，在行业内首次实现了SQLLoader直接路径模式（direct path）在高并发场景下的成功落地应用，文件解析效率提升300%，彻底解决了数据接收过程中的耗时“跳变”及“高水位”问题，实现了系统架构和技术创新的双突破和系统性能及稳定性的双提升，对行业数据治理具有重要的现实参考价值。三是采用微服务架构，依托分布式内存数据库搭建了新一代数据核对引擎，将数据核对效率提升60倍。四是支持分机构数据核对，支持算力平行扩展，既满足当前期货保证金安全监控的需要，也为将来市场差异化创新业务监管预留了空间。五是搭建了期货公司信息交互平台，实现了与期货公司信息交互全流程电子化，提高了与期货公司信息交互便利化水平，大幅减轻市场负担。
市场发展新阶段，监管应对新挑战
2006年，中国期货监控上线期货保证金安全存管监控系统，标志着全球首创的期货保证金监管制度正式落地。该系统逐日对全市场的资金、结算情况进行核对，对系统风险、个体风险、交易品种风险进行及时预警，有助于防控期货市场发生系统性金融风险，降低交易成本。在防范市场风险、保护投资者合法权益、服务监管等方面做出了重要贡献。
依托新一代保证金监控系统的强大支撑，中国期货监控及时有效发挥期货市场“电子眼”作用和数据大集中的优势，对期货市场实施全方位监测监控，是“五位一体”期货监管体系的重要组成部分。
但随着期货市场蓬勃发展，业务快速创新，该系统面临更大挑战，中国期货监控认真总结多年来期货保证金安全存管监控工作成功实践经验，并结合当前监管最新要求和市场发展趋势，于2018年启动建设新一代保证金监控系统。
建设工作立足系统外联机构多、数据收集面临多源头、跨行业多方协调、数据量大且快速增长等实际特点，以系统处理效率提升、监控预警及时发挥实效、支持期货国际化业务发展、适应创新业务为目标，研究新系统的技术路线及业务模式。最终，确定采用虚拟化容器技术搭建微服务架构，使用Redis内存数据库替代Oracle关系型数据存储待核查数据，提高数据读写速度；采用分布式计算，提供并发计算能力；深入挖掘SQLLoader数据装载性能，全面提升数据装载效率。历经研发实施，新一代保证金监控系统建成投产。
系统功能模块化，技术架构层次化
新一代保证金监控系统由数据报送系统、核对监控系统、信息交互平台3个子系统组成，含一级功能模块20个，实现监控指标155个，支持4种机构类型69个接口数据采集。其中，数据报送系统建立了数据入库逻辑隔离机制，构建适应大数据、高并发场景下的数据接收模型，效率提高60%，确保稳定高效，极大减轻报送负担。核对监控系统进一步完善了具有中国特色、国际视野的期货保证金安全存管监控体系，全面支持商品类和金融类期货期权交易数据监管，采用微服务架构，依托分布式内存数据库搭建了新一代数据核对引擎，将数据核对效率提升60倍。信息交互平台为期货公司提供线上保证金账户报备、公司基本信息维护、预警情况说明等功能，提高信息交互便利性，有效减轻市场机构负担。
该系统在功能和技术设计上主要分为文件报送层、文件接收层、数据清洗层、业务计算层、WEB服务层和外部访问层。如图1所示，文件报送层特指数据报送子系统，向期货公司、期货交易所、银行、中国结算提供数据报送接口，同时控制不同机构的文件报送权限。文件接收层、数据清洗层、业务计算层共同组成新一代核对引擎，实现数据存储、数据校验、数据清洗、业务计算等功能。WEB服务层为用户提供可视化管理界面，便于用户访问和管理系统，主要功能包括数据核对、预警管理、数据查询、业务审批、权限管理等。外部访问层为用户提供访问和管理系统的接口，方便不同角色用户根据权限查看相关功能模块。
图1 新一代保证金安全存管监控系统总体技术架构
着力科技创新，践行科技赋能
考虑到系统所承载的数据规模和业务范围，新一代保证金监控系统的建设在期货行业内同类信息系统建设中面临前所未有的挑战。与其他机构风险控制系统主要针对本机构涉及的数据和确定的业务、目标明确、性能压力有限的情况不同，该系统需要处理全市场数据，将资金计算到客户级，并面向期货交易所、存管银行、期货公司等170余家机构，同时，每家交易所自身不同的业务特点也需要通盘考虑。
依托最新科技，中国期货监控坚持问题导向，聚焦新一代保证金监控系统功能复杂、数据种类繁多、业务变动频繁等特点，积极创新技术应用方式方法，有针对性地解决系统面临的困境和难题，优化系统的交互体验，确保系统在功能稳定的前提下，实现性能提升，同时具备良好的可扩展性。
1.基于虚拟化容器搭建微服务架构
新一代保证金监控系统采用微服务（Springboot）架构，源于两方面考虑。一是数据核对面向期货市场，业务涉及商品期货期权、金融期货期权、境外业务、分级结算等多维度、多条线，需要兼容并支持市场的业务创新，微服务架构针对不同期货交易所的业务特点设计了单独的核对处理流程，实现分公司进行数据核对，同时为后续期货市场国际化及其他创新业务开展的配套数据核对预留了接口。二是数据高速增长，2006年至2020年底，期货市场的日成交笔数增长了近600倍，需要系统性能支持市场的快速发展，微服务架构支持对系统资源进行横向扩展，可根据业务量增加，对系统资源快速扩展，及时高效响应性能的提升需求。
基于虚拟化容器（Docker）技术，实现将应用程序和其依赖项打包到一个独立的容器中，做到操作系统级别的隔离。同时，多个容器可同时部署在同一物理机上，具有资源使用率高、方便部署、易于扩展等优点，确保新一代保证金监控系统快速响应市场变化，灵活调整业务结构。
微服务架构应用后，将原本的庞大系统打散、细化成多个小型服务，每个服务相对独立，服务间通过HttpAPI通信，有针对性地解决了该系统业务庞大、功能复杂的问题，同时，其松耦合、高内聚的架构特点，也为业务扩展、模块开发提供了极大便利，为系统功能和性能的扩展提供了有力支持。
2.采用分布式架构创建高性能核对引擎
数据核对作为保证金监控的核心业务，对新一代保证金监控系统建设提出了更高的要求。一是数据量大、计算密集、涉及多种类业务数据批处理，因此核对工作耗时一般较长，但考虑到核对后续监控预警等核心功能及时有效发挥作用，核对时间必须得到高标准保障。二是需要从各机构报送的数据中查询、过滤、校验所要核对的数据，涉及对数据的频繁读写，对数据库的吞吐量、读写速度有着极高的要求。
基于上述需求，新一代保证金监控系统选择内存数据库（Redis）作为核对引擎的存储系统，集群模式部署，采用分布式架构搭建核对引擎。通过在线部署多个Redis实例，形成方便拓展的缓存数据资源池，有效规避传统技术无法解决的缓存资源不足引发前后台系统运行卡顿等问题，同时当某一内存数据更新时还可自动回写数据库，完成持久化和分布式系统数据更新。最终，核对引擎通过并行执行各项预警的核对任务，配合高性能内存数据库，将数据核对的效率提升60倍。
如图2所示，Master节点实现对核对引擎的统一调度和集中管理，提供参数维护、数据同步、数据持久化、下发核对任务、容器管理等功能，通过Master节点实现对容器的实时管理，可以高效、简便地完成对集群的扩展，实现对新增报送文件、新增报送机构等业务场景的支持。注册中心用于存储系统基础信息，包括系统参数、任务信息、监控信息等。其中，系统参数为Worker集群提供后续数据核对任务的依据。Worker集群实现数据的导入、清洗、校验和核对，使用容器创建，是数据核对工作的具体执行者，导入任务负责将盘后结算文件中的数据导入到Redis内存数据库中，清洗和校验任务负责完成对数据的过滤，过滤后用于各类预警指标计算。Redis集群负责数据存储，使用容器创建，其中，Redis是高性能的key-value内存数据库，同时支持多种数据类型存储，并支持数据备份和数据持久化功能，进一步保证数据安全性，核对引擎在此处采用集群模式，实现分报送机构、数据类型存储在独立的Redis节点中，为数据并行计算提供底层支持。
图2 新一代核对引擎技术架构
3.构建适用大数据、高并发场景下的数据接收模型
新一代保证金监控系统每日需要从期货交易所、存管银行、期货公司等170余家不同机构，接收盘后结算文件4300余个。随着期货市场快速发展，近年来数据量急剧增加，对系统的数据接收效率和文件解析效率都提出了更高的要求。
为此，一是建立数据入库逻辑隔离机制，构建适应大数据、高并发场景下的数据接收模型，数据接收效率提高60%。新的数据模型根据机构编码对临时表进行分区，确保各机构数据在独立分区内完成DDL和DML操作，实现入库的逻辑隔离，校验完毕后通过Truncate方式按照分区清理各家机构数据，避免“高水位”问题，保证系统稳定运行。二是实现SQLLoader直接路径模式（direct path）在多并发场景下的成功应用，文件解析效率提升300%以上。经过对SQLLoader所属30余项技术参数的反复调试，最终通过指定分区入库的方式，将“多并发”通过分区逻辑隔离成“单线程”，成功解决在多并发场景下直接路径模式导致的锁表问题，且性能明显优于Datax等同类文件解析工具。
应用效益突显，监管效能提升
新一代保证金监控系统建成投产后应用效益突显，一是科技赋能，全面支持跨市场、国际化业务监管，助力全球首创的保证金监控体系在更高水平持续更好发挥作用。二是数据核对效率大幅提升，极大释放监管资源，实现了预警“早发现、早处置”。三是数据报送用时大幅缩短，减轻了市场主体负担。四是上线信息交互平台，促进数据质量和预警准确性进一步提升的同时，也提高了与期货公司信息交互的便利化水平，减轻市场负担。
2022年初，在针对伦镍事件对国内镍期货市场的风险外溢冲击监测中，依托新一代期货保证金监控系统的强大支撑，中国期货监控及时有效发挥期货市场“电子眼”作用和数据大集中的优势，对期货市场实施全方位监测监控，为打造一个规范、透明、开放、有活力、有韧性的资本市场贡献了力量。
（此文刊发于《金融电子化》2023年12月下半月刊）