LeNet-5是Yann LeCun在1998年提出的多层神经网络，用于解决手写数字识别的，并证明在当时该识别方法优于其他识别方法；自此，CNN的模型基本都基于该架构：卷积层、池化层、全连接层。

论文：Gradient-Based Learning Applied to Document Recognition

PyTorch是一个建立在Torch库之上的Python包，是由Facebook开源的神经网络框架。它提供一种类似NumPy的抽象方法来表征张量（或多维数组），可利用GPU来加速训练。Torch是一个经典的对多维矩阵数据进行操作的张量（tensor ）库，包含自动求导系统的深度神经网络，提供了高度灵活性和效率的深度学习实验性平台。与Tensorflow的静态计算图不同，PyTorch的计算图是动态的，可以根据计算需要实时改变计算图。

TensorFlow由谷歌人工智能团队谷歌大脑（Google Brain）开发和维护的开源深度学习平台，是目前人工智能领域主流的开发平台。但从2022年6月开始，TensorFlow要被PyTorch超越，谷歌抛弃TensorFlow，主推JAX。

TensorFlow架构设计优秀，通过张量流进行数据计算和传递，可视化张量流动环节；CPU/GPU部署容易，可进行分布式计算，可跨平台；

OpenCV图像处理综合案例

OpenCV（Open Source Computer Vision Library），是一个跨平台的计算机视觉库。OpenCV由英特尔公司发起并参与开发（美国公司还是强大），以BSD许可证授权发行，可以在商业和研究领域中免费使用。OpenCV可用于开发实时的图像处理、计算机视觉以及模式识别程序。^[1][2]

OpenCV可解决增强现实、人脸识别、手势识别、人机交互、动作识别、运动追踪、物体识别、图像分割、机器人等领域问题。

计算机视觉在广义上是和图像相关的技术总称，包括图像采集获取，图像压缩编码，图像存储和传输，图像合成，三维图像重建，图像增强，图像修复，图像分类和识别，图像目标检测、跟踪、表达和描述，图像特征提取，图像显示和输出等。并随着图像技术的发展，计算机视觉在各种场景下得到广泛应用。

聚类（cluster）属于无监督学习；聚类是根据数据的特征，将相似度最高的样本划分到一个聚簇中；相似度的度量方式有，曼哈顿距离、欧式距离、切比雪夫距离，都可以用闵式距离公式表示；聚类算法包括：基于原型聚类，如k-means算法；基于密度聚类，如DBSCAN算法；基金层次聚类，如凝聚算法。评价指标采用轮廓系数。

模型评估和优化是机器学习中非常重要一环，不同的机器学习任务有着不同的评价指标，同时同一种机器学习任务也有着不同的评价指标，每个指标的着重点不一样。在实际情况中，会用不同的度量去评估模型，度量的选择，完全取决于模型的类型和模型的用处。^[1]

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。“朴素”的含义为：假设问题的特征变量都是相互独立地作用于决策变量的，即问题的特征之间都是互不相关的。其为多用途分类器，广泛应用于垃圾邮件过滤、自然语言处理等.

朴素贝叶斯优点：逻辑性简单，易训练；算法较为稳定，当数据呈现不同特点时，其分类性能不会有太大差异；样本特征之间的关系相对比较独立时，朴素贝叶斯分类算法会有较好的效果。

朴素贝叶斯缺点：特征独立性很难满足，样本特征之间往往存在互相关联，会导致分类效果降低。

朴素贝叶斯使用场景：根据先验概率计算后验概率的情况，且样本特征之间独立性较强。

支持向量机（Support Vector Machines）是一种二分类模型；（李航《统计学习方法：决策树》）^[1]支持向量机通过寻找最优线性模型作为分类边界，边界要求具有正确性、公平性、安全性、简单性；SVM可以通过核函数将线性不可分问题转换为线性可分问题，其中核函数包括：线性核函数、多项式核函数、径向基核函数。支持向量机适合少量样本的分类。