针对吉林油田上述实际需求，美创科技通过自主研发的数据支撑平台实现数据清洗、转换、同步和加载工作。该平台通过对业务系统数据进行标准化，向数据仓库或大数据平台提供高质量数据，支持异构数据迁移、基于数据库日志的数据实时复制、ETL开发、分布式处理等功能。具体如下：
数据清洗人物配置管理模块
清洗模块是整个清洗工具的控制中心，实现清洗数据源的连接信息、清洗表的设置，并且记录清洗信息。
清洗规则管理模块
包含各类清洗算法的运行参数、数据质量指标等，如重复记录清洗算法的阈值、异常值检测的标准、基于业务规则的清洗算法的业务逻辑等。
清洗算法管理模块
对重复数据检测算法、不完整数据检测算法和字段匹配算法、异常值检测算法等进行灵活定义和配置。
扩展模块管理
通过扩展模块允许向数据清洗工具中加入完全定制化的清洗方法和流程，负责将编译好的扩展清洗方法及描述信息保存到扩展模块配置中，清洗任务可以灵活的选择相应的扩展清洗方法。
清洗日志管理
实现清洗动作的可追溯性，清洗任务会自动保存到清洗日志表中，不能自动清洗的为异常。通过清洗日志管理模块可以对清洗任务进行查询，并对异常数据进行手工处理。
算法和规则配置管理
通过选择不同的清洗方法和规则实现数据清洗的需求。算法库管理：通过配置管理界面，将已实现算法编译后的类加载到算法库，并在算法库中维护算法的描述信息便于以后的配置管理；规则库管理：工具中的清洗规则都维护在系统规则表中，将规则代码和规则相对应管理。
扩展清洗模块
增强数据清洗工具和数据类型的灵活性，在满足扩展模块接口的前提下，定制数据清洗流程进行数据清洗工作。
安全测评
系统上线前开展代码安全测评，并出具第三方测评机构出具评测报告。
浙公网安备 33010502006954号 
