一.神经网络的输入数据类型神经网络的输入数据类型本质上是根据数据的结构和来源划分的不同类型的数据对应不同的神经网络架构比如 CNN 对应图像、RNN 对应序列。常见的输入数据类型主要有以下 4 类1.结构化数据表格数据——向量这是最常见的传统数据类型数据以行和列的形式组织每一行是一个样本每一列是一个特征。想象成绩表特点分为数值型和类别型。数值型特征年龄、身高、温度特征维度清晰有明确的含义、价格、销量等连续或离散的数字标签。类别型特征性别男 / 女、颜色红 / 蓝 / 绿、职业教师 / 医生等非数字标签输入前需要做编码如独热编码、标签编码。适用的神经网络全连接神经网络DNN、多层感知机MLP。应用场景信用评分、客户流失预测、房价预测、疾病风险评估。2.图像数据视觉数据——矩阵图像数据是二维或三维的像素矩阵是深度学习最核心的应用领域之一。特点二维图像结构为[高度, 宽度, 通道数]比如一张 224×224 的彩色图通道数为 3RGB灰度图通道数为 1。像素值通常是 0–255 的整数代表颜色深浅输入前需要归一化如除以 255 缩放到 0–1。适用的神经网络卷积神经网络CNN专门用来提取图像的空间特征边缘、纹理、形状。应用场景人脸识别、图像分类猫 / 狗、目标检测识别图片里的汽车 / 行人、医学影像诊断CT / 核磁分析。3.序列数据时序/文本数据序列数据的核心是数据的顺序有意义数据是按时间或先后排列的一维序列。常见子类文本数据最典型的序列数据由单词、字符组成比如一句话、一篇文章。输入前需要做向量化如 Word2Vec、One-Hot、Transformer 嵌入。时序数据随时间变化的数值序列比如股票价格每分钟的收盘价、心电图波形每秒的电压值、传感器数据每小时的温度值。特点样本长度不固定比如不同句子的单词数不同前后数据存在依赖关系。适用的神经网络循环神经网络RNN、长短时记忆网络LSTM、门控循环单元GRU、TransformerBERT、GPT 的核心架构。应用场景机器翻译、语音识别、情感分析、股票预测、语音合成。4.音频数据矩阵or序列音频数据本质是一维的声波信号序列数据但通常会被转换成二维的频谱图矩阵后再输入神经网络。其类型不是绝对的既可以作为序列数据也可以转换为矩阵数据具体取决于处理方式和对应的神经网络架构。1. 原始音频天然的一维序列数据原始音频是麦克风采集的声波信号经过采样后会变成一串离散的数字值它的结构是[采样点数量]的一维数组。特点数据按时间顺序排列相邻采样点之间有强依赖关系前一时刻的声音会影响后一时刻完全符合序列数据的定义。适用网络循环神经网络RNN/LSTM/GRU、Transformer这类网络擅长捕捉时序依赖。应用场景语音合成、实时语音情感识别对时序连贯性要求高的任务。2. 处理后音频转换为二维矩阵数据直接处理一维音频序列的难度较高因为很难直接提取出 “音调”“音色” 这类关键特征所以实际应用中更常用的是频谱图Spectrogram格式。转换方法通过短时傅里叶变换STFT把一维的时间序列转换成 “时间 - 频率 - 能量” 的二维矩阵横轴 时间纵轴 频率每个点的数值 对应时间和频率下的声音能量特点这个二维矩阵和图像数据的结构[高度, 宽度]完全一致属于矩阵数据。适用网络卷积神经网络CNN可以像处理图像一样提取局部特征比如某个时间段的特定频率特征。应用场景语音识别、音乐分类、声纹识别绝大多数主流音频任务。3.总结音频数据形态数据类型适用网络核心优势原始采样序列一维序列RNN/LSTM/Transformer保留完整时序信息频谱图二维矩阵CNN提取频率特征更高效简单来说原始音频是序列加工后的频谱图是矩阵后者在实际项目中更常用。二.神经网络的输出数据类型神经网络的输出数据类型主要由任务目标决定常见的有以下四大类每一类都对应着不同的模型结构和损失函数1.分类输出离散类别——选择题核心特点输出是离散的类别标签或每个类别的概率分布任务目标是判断输入属于哪一类。常见形式单分类输出一个概率分布如[0.95, 0.03, 0.02]对应 “猫、狗、鸟” 三类取概率最高的 “猫” 作为结果。多标签分类输出多个独立的概率值如一张图里同时有 “猫” 和 “狗”输出[0.9, 0.85, 0.01]表示这两个标签都为正。典型任务图像分类识别猫 / 狗、人脸识别判断是谁、文本情感分析正面 / 负面。输出层激活函数Softmax单分类、Sigmoid多标签分类2.回归输出连续数值——填空题核心特点输出是连续的数值任务目标是预测一个或多个具体的数值。常见形式单值回归输出一个连续值如预测房价为150.8 万元预测温度为25.6℃。多值回归输出多个连续值如预测 bounding box 的坐标[x1, y1, x2, y2]。典型任务房价预测、温度预测、目标检测中的边框回归。输出层激活函数Linear无激活或根据任务范围用 Sigmoid/Tanh 限制输出区间。3.生成输出结构化输出数据——简答题核心特点输出是高维、结构化的新数据。任务目标是主动创造出全新的、结构完整的内容。生成输出常见形式文本生成写文章、聊天机器人、机器翻译图像生成文生图如 Stable Diffusion、图像修复、风格迁移音频生成语音合成TTS、音乐生成其他生成代码生成3D模型生成生成式输出的本质是 “无中生有”它要求模型不仅要理解输入还要能创造出符合人类认知和任务要求的全新结构化内容。三.小练习1.向量回归2.序列生成结构化输出3.序列分类生成结构化输出(错误想法在写下代码的前缀时AI会提供可选择的填充代码因此就将其理解为了分类。正确想法无论是填充代码还是根据需求自动生成代码最终生成的是代码序列是一种结构化输出4.矩阵回归分类这是一个 “身份识别” 问题目标是从有限的已知人物集合如 “张三、李四、王五”中选出图片人物对应的标签。5.序列分类6.序列也可矩阵更主流分类7.矩阵矩阵序列分类这是一个典型的多模态分类任务需要同时处理两种不同类型的输入8.矩阵分类圈出羊是回归识别羊是分类圈出羊需要用一个矩形框bounding box把羊框住这个框的位置由(x1, y1, x2, y2)四个连续的坐标值决定——(x1, y1)代表矩形框的左上角顶点坐标(x2, y2)代表矩形框的右下角顶点坐标。预测这四个连续数值的过程就是回归输出9.矩阵分类解释这个任务属于图像分割任务它的输出类型是逐像素分类本质上是一种分类任务的延伸。任务本质:这个任务要求为图像中的每个像素点判断它属于 “人”“路”“车” 还是 “背景”这是一个逐像素的分类问题。每个像素都被分配一个类别标签最终所有像素的分类结果组合起来就形成了人、路、车的轮廓。为什么不是回归或生成回归回归输出的是连续数值如坐标、温度而这里输出的是每个像素的离散类别标签人 / 路 / 车 / 背景不是连续值。生成生成任务是创造全新的内容而这里是对已有图像的像素进行类别标注没有 “无中生有”只是对现有信息的分类。常见的图像分割类型语义分割只区分类别不区分同一类的不同个体比如把所有行人都标为 “人”。实例分割不仅区分类别还区分同一类的不同个体比如把不同的行人标为 “人 1”“人 2”。10.向量矩阵序列 结构化输出
