结构化数据与非结构化数据一、定义结构化数据可以用二维表格行和列清晰表示的数据每条记录都有固定的字段、明确的数据类型和预定义的格式。员工ID | 姓名 | 部门 | 入职日期 | 薪资 --------|--------|--------|-----------|------ E001 | 张三 | 技术部 | 2023-03-15| 15000 E002 | 李四 | 市场部 | 2024-01-10| 12000 E003 | 王五 | 技术部 | 2024-06-20| 18000非结构化数据没有预定义的格式或组织方式无法直接放入二维表格的数据。- 一条客户投诉邮件全文 - 一段产品评价语音 - 一张施工现场照片 - 一份 PDF 合同扫描件 - 一段监控视频半结构化数据介于两者之间有组织标记但无固定表结构{orderId:20260627001,items:[{name:路由器,qty:2},{name:网线,qty:10}],remark:null}orderid20260627001itemname路由器qty2/itemname网线qty10//order二、核心区别维度结构化数据非结构化数据组织方式行×列的二维表自由格式文本、图片、音视频等数据模式预定义 Schema先有表结构再填数据无固定 Schema内容自描述存储方式关系型数据库MySQL、PostgreSQL对象存储/文件系统/文档数据库查询方式SQL 精确查询条件过滤全文检索、语义搜索、AI 提取分析方式聚合、统计、建模成熟高效NLP、CV、音频处理需先结构化数据占比约 20%约 80%业界估算处理成本低工具链成熟高需要专业处理能力一致性强可设约束和校验规则弱格式和内容自由度大三、典型示例对照业务场景结构化数据非结构化数据电商订单号、金额、下单时间商品评论文本、买家秀图片医疗患者ID、诊断编码、检验数值CT 影像、病历自由文本、手术录像金融交易流水、账户余额、利率客户投诉录音、合同扫描件、研报 PDF电信通话时长、流量用量、套餐类型客服对话记录、装维现场照片、工单描述制造产量、良率、设备参数设备振动波形、巡检照片、操作日志四、非结构化数据的处理路径非结构化数据无法直接分析核心思路是转化为结构化或半结构化形式非结构化数据 → 特征提取/标注 → 结构化特征 → 分析建模数据类型提取方法结构化产出文本NLP 分词、实体识别、情感分析关键词、实体、情感分值图片目标检测、OCR、图像分类标签、文字内容、坐标音频语音识别(ASR)、声纹提取转写文本、说话人标识视频关键帧提取 图像分析时间戳、画面标签日志正则解析、模式匹配时间戳、级别、模块、消息体例如电信装维场景中装维人员上传的现场照片是非结构化数据通过图片同源检测可以提取出是否为重复上传的结构化判定结果这就是非结构化→结构化的典型转化。五、如何选择存储方案场景推荐方案固定格式、强一致性、复杂查询关系型数据库MySQL、PostgreSQL灵活字段、嵌套结构、频繁变更文档数据库MongoDB、Elasticsearch海量文件存储、偶尔访问对象存储MinIO、S3 元数据库全文搜索、日志分析Elasticsearch、ClickHouse混合型结构化非结构化关联关系库存结构化字段 对象库存文件 外键关联实际业务中往往组合使用订单数据在 MySQL商品图片在对象存储评论文本在 Elasticsearch通过 ID 关联。
