1.1 神经网络
深度学习与神经网络简介
- 深度学习 (Deep Learning) 通常指训练规模庞大（层数很深）的神经网络的过程。
- 神经网络 (Neural Network) 深度学习的核心组成部分，本笔记将介绍其基本概念。
简单示例：单特征房价预测
任务描述
- 目标：根据房屋面积预测价格
- 数据：6个房屋的面积和对应价格
- 挑战：需避免不合理的负值预测
方案迭代
- 初始尝试：线性回归
- 用直线拟合数据点
- 问题：直线可能延伸至负价格区域
-
- 改进方案：修正线性函数
-
- 定义函数：
预测价格 = max(0, 线性预测值) - 本质：这是最简单的神经网络雏形
-
神经网络基础：单神经元模型
结构组成
[输入 x] → (神经元) → [输出 y]
- 输入：房屋面积
- 神经元计算：
- 线性运算
- 通过ReLU激活函数：
max(0, 计算结果)
- 输出：预测价格
ReLU激活函数详解
- 全称：Rectified Linear Unit
- 特性：
- 输入≥0时：线性输出
- 输入<0时：输出恒为0
扩展：多特征神经网络
输入层特征
| 特征名称 | 说明 |
|---|---|
| Size | 房屋面积 |
| NBedrooms | 卧室数量 |
| Zip Code | 邮政编码 |
| Wealth | 社区富裕程度 |
隐藏层自动学习概念
通过数据训练，网络可能自动发现：
- 家庭容纳能力（Size + Bedrooms）
- 步行便利性（Zip Code）
- 学区质量（Zip Code + Wealth）
网络结构示意图
[输入层4节点] → [隐藏层3节点] → [输出层1节点]
- 全连接特性：每层节点完全互连
- 自主学习：无需人工定义隐藏层含义
神经网络核心特性
层次结构
| 层级 | 功能 |
|---|---|
| 输入层 | 接收原始特征数据 |
| 隐藏层 | 通过非线性变换提取高阶特征 |
| 输出层 | 生成最终预测结果 |
训练过程
- 监督学习范式
- 输入：带标注的数据 (x→y)
- 输出：优化后的预测模型
- 应用场景
- 房价预测
- 图像识别（图→标签）
- 语音识别（音频→文本）