深度学习期末复习核心

从人工智能到深度学习

  • 人工智能、机器学习和深度学习的关系
  • 机器学习三要素:数据、模型、算法
  • 神经网络发展历程:三次崛起与两次衰落
  • 大模型的兴起与影响

机器学习基础

  • 梯度下降算法原理及应用
  • 数学和线性代数基础
  • 线性模型:线性回归、逻辑回归
  • 感知机模型及局限性

前馈神经网络

  • BP算法原理及推导
  • 多层感知机的结构和训练方法

深度模型优化

  • 非凸优化问题
  • 学习率的选择与调整策略
  • 数据预处理方法

正则化技术

  • 过拟合问题及解决方案
  • L1、L2正则化方法

卷积神经网络

  • CNN基本概念
  • 卷积运算原理
  • 参数学习方法
  • 感受野、稀疏交互、权值共享、平移不变性
  • 池化操作
  • 转置卷积和空洞卷积

循环神经网络

  • RNN基本概念及记忆能力
  • 双向循环神经网络
  • 长程依赖问题及解决方案:LSTM、GRU
  • 深层循环神经网络
  • 序列数据处理方法