暗数据是指：组织在常规业务活动中收集、处理和存储，但通常无法用于其他用途的信息资产。

据调查显示，企业存储的数据中：52%的数据为价值尚不明确的暗数据，33%的数据为冗余、过期或者不重要的数据。

数据大爆炸中的「暗数据」

在数字化转型过程中，数据成为新的生产资料。据IDC预测，2025年全球数据总量将达175ZB。政府、企业已成为数据的主要管理者。

一方面，在各领域数字化转型过程中，数十亿系统、设备互联互通，无数云服务实时通信，从后端信息系统到客户操作前台，政企机构在其日常运营的每一步都在对数据进行采集。

另一方面，随着政企机构产生和收集的数据越来越多，产生了大量不易发现、不可理解、未被使用的数据。这些数据分散在机构内部的不同部门，大部分是以数据、文件、日志等形式存在，这些“闲置”的数据即“暗数据”，它蕴含巨大的价值，同时也暗藏风险：

第一、暗数据是生成良好数据分析结果的一个主要限制因素，传统的分析技术无法快速访问和获取其完整细节，可能使机构错失新的收益、降低内部成本的机会。

第二、未被发现的暗数据中可能包含许多敏感信息，尤其在《网络安全法》《数据安全法（草案）》等法律法规陆续出台，监管日益严格的背景下，暗数据成为政府企业数据保护的安全盲点。

第三、部分暗数据是出于信息系统建设完整性、合规性或当时的条件局限性存储的。随着时间的推移，大量数据成为冗余数据、报废数据，存储的成本会日益高昂。

第四、被一个部门认为无关紧要的数据，对另一个部门来说可能极有价值。但暗数据分散在业务的不同层面，导致机构内部信息是断裂的，这些数据没有被相互利用，也是一种暗数据。

随着数字化转型加速，政企机构对数据的依赖不断加强。根据TRUE Global Intelligence《暗数据现状》报告，机构总数据的一半以上属于暗数据，那么如何有效的对暗数据进行识别、管理和使用，是当今政企机构盘点数据资产，深挖数据价值、加强信息安全防护的关键所在。

暗数据发现和管理现状

暗数据具有巨大的现在或未来价值，政府和企业要做的就是如何释放其潜力。

目前，许多传统机构在处理暗数据时，采用的是人工提取和标注数据的办法，过程缓慢、成本高昂且容易出错。在管理时基于EXCEL等载体，用资产台账的方式人工管理，存在更新不及时、遗漏、因人员交接和环境变更等因素废弃的风险。

而虽然已经有许多机构已经建设了数据仓库或大数据平台，但依然存在数据来源不全、数据流向混乱、缺乏良好的元数据管理等问题。加上暗数据多为半结构化和非结构化数据，传统的关系数据库无法访问它，导致很多信息无法利用。

更重要的是，数据仓库对于IT部门来讲或许已经是可以利用的数据，但对于业务部门来说，如果缺乏相关的人才、技能和工具，仍然是暗数据。

暗数据发现和分级分类系统

针对以上暗数据发现和管理痛点，美创推出【暗数据发现和分级分类系统】，基于自动扫库扫表、模型匹配、数据统计和机器学习等技术，自动化数据识别、分类、分析，厘清元数据之间的关系，摸清数据家底。将暗数据变成分类有序、容易理解、有业务价值的数据，扩大政企机构数据资产规模。

美创科技的“暗数据掘金”之路

数据透明化

要进行数据资产盘点、进行数据发现，首先需要明确数据在哪里。但政企机构业务系统复杂、内部数据分散，用户以为自己有10个库，实际上可能有更多的库，依靠人工的力量根本无法理清全部数据的存储位置。

暗数据发现和分级分类系统具备数据源自动发现与数据源管理功能，可自动探查数据存储位置，自动发现数据库的数量、IP、端口、类型等信息。

通过比对分析不同时间的数据源发现结果，及时了解数据库的变化情况；通过与用户上传的数据库台账信息比对，定位数据资产信息变化。

数据源发现结果比对

暗数据发现和分级分类系统能够适配多种数据源，包括关系型数据库、NOSQL、Hadoop等，通过广泛的扫描，充分利用数据库内的数据信息，进而得到机构内数据分布、规模、种类的全面分析结果，使暗数据“浮出水面”。

数据有序化

无论数据位于何处，都应该对数据进行分类和标识，一方面有利于快速查找、管理和应用数据，另一方面能够确保敏感或危险信息得到有效的管理和保护。

暗数据发现和分级分类系统采用规范的数据分类方案对数据进行分级分类管理。首先按照分类标准和对应业务模版对数据进行分类，生成资源编目，用户可以快速筛选、查看、管理和应用不同分类下数据。

分级分类作业

系统对医疗、港口、金融、社保等行业做了专门的适配，内置了不同行业的发现模版、数据标准和发现规则，使得数据发现和分类结果更加专业和准确。

对于敏感数据，系统按照重要程度和敏感程度对数据进行分级（低敏感-中敏感-高敏感-极高敏感），并生成完整、可视化的分析报告，方便用户筛选和查看不同敏感程度的数据分布和信息，对敏感数据采取相应的安全防护措施（包括敏感数据访问审计、数据脱敏等），从而减少数据安全风险，对数据资产实现规范化管理。

分类分级结果

价值最大化

政企机构需要管理存储文件的多个区域，如果没有单一的信息源，便很难找到想要的信息。比如员工经常会因使用不同版本的更新文档而产生误解，导致效率低下，且由于和太多人共享信息时没有可追溯性，容易造成信息丢失。

元数据是用来描述数据的数据，它不仅可以表示数据的类型、名称、值等信息，还可以进一步提供数据的上下文描述信息，比如数据的所属域、数据间的关系、业务规则，甚至是数据的来源。

暗数据发现和分级分类系统内置完善和健壮的数据口径、标准和规则，可自动对多类型库的元数据进行扫描、梳理，自动识别数据的格式、技术类型和业务类型。

在此基础之上，结合自然语言处理、特征分析等方法对扫描过的元数据进行语义内容识别，自动解析数据含义、发现数据内部关系，识别表格之间的关联关系。

数据资产发现

通过数据资产发现，可形成整个系统信息数据资产的准确视图，以便能系统性地管理来自各业务系统的海量数据，缩短数据资产的盘点和梳理周期、提高数据质量。

此外，通过梳理业务数据之间的关系，完善对这些数据的解释、定义，可帮助机构形成数据信息标准，方便对数据来源、数据间关联关系、变迁情况等进行跟踪分析，最大化体现数据价值。

流程自动化

数据每天都在不断增长，无论是规模、多样性还是价值，提供数据的应用程序的数量和类型也在不断变化，且暗数据具有时间敏感性，数据无法访问的时间越长，损失的价值就越大，政府与企业需要一个更高效的数据资产盘点工具。

一般情况下，如果采用传统的数据治理、数据仓库建设可能需要3-6个月，但是基于暗数据发现和分级分类系统进行数据资产盘点，只要几周时间就能完成整个工作。

首先系统拥有完整的数据资产盘点工具体系，可实现数据扫描、识别、定位、解析、分析、分类，同时系统拥有强大的多维结果展示能力，为用户生成完整、全面、直观的可视化发现报告（包括：数据分级分类报告、数据质量报告、数据资产报告等），让用户更快、更全地认识数据。

可视化报告

最后，系统丰富的对外接口和结果导出功能方便数据输入到各种分析工具和应用程序中，为政府与企业开展数据资产管理、数据治理工作、敏感数据发现和数据安全治理等场景提供了强大基础支撑，助力不断挖掘和利用数据。

例如运用到机构内部经营管理和决策分析，发挥数据价值；或根据分级分类的结果，针对性地采取适当、合理的管理措施和安全防护措施，在保证数据安全的基础上完成数据的共享。

从数据治理到数据资产管理，再到数据中台，美创对数字化转型的思考与实践，一直走在业界的最前沿。

美创科技的优势，一是多年的产品技术积累，美创在数据库领域已有16年的沉淀，累积服务客户超过5000家，在数据治理领域有多年的布局和实践，在数据源支持、数据标准、数据采集能力、数据处理能力、数字化交付等方面领先同行；二是拥有丰富的行业模版，美创数字化转型业务产品内置了包括医疗、港口、金融、社保等行业的业务模型，还可以通过增加语料完成业务模型自学习，能够快速适配行业数据；三是专注于敏捷化解决方案，帮助客户找到适合自己的数字化转型方案，降低客户转型的成本。

未来，美创将继续积累数据治理的经验，保持产品和服务的行业领先地位。另外不断丰富产品的颗粒度，提升政企数据“存-管-治-用”的闭环服务能力。