Reinforcement Learning

在本项目中，我探索了在物理机器人上实现强化学习（RL）算法的过程，具体是在定制的3D打印机器人Benny和Bunny上从A到B的路径规划。作为我本科最后一年自选选修课的一部分，项目学习强化学习的基础知识。最初，编码直接在物理机器人上进行，但随着项目进展，意识到需要将算法与硬件解耦。仿真测试表明，在较小的状态空间（<= 100个状态）中表现良好，但在扩展到包含400个状态时，任何探索的RL算法均无法收敛。结果显示，在实现硬件前，需在仿真中探索更强大的算法。所有模拟代码均使用C++编写，确保代码的可移植性，以适应微控制器的限制，避免数据传输带来的复杂性。

Model-based value iteration algorithm for deterministic cleaning robots. This simple implementation of the value iteration algorithm serves as a helpful starting point for beginners in reinforcement learning and dynamic programming. The deterministic cleaning robot MDP involves the robot collecting used cans and recharging its battery. The state represents the robot's position, and the action defines the movement direction, either left or right. The first (1) and last (6) states are terminal states. The goal is to find the optimal policy to maximize the reward from any initial state. This is an example of Q-iteration (model-based value iteration DP). Reference: Algorithm 2-1, from: @book{busoniu2010reinforcement, title={Reinforcement Learning and Dynamic Programming Using Function Approximation}, authors={Busoniu, Lucian and Babuska, Robert and De Schutter, Bart and Ernst, Damien}, year={2010}, publisher={CRC Press}}.

深度学习历史趋势 一、深度学习历史趋势 神经网络的众多名称和命运变迁： 早期发展：20世纪50年代末至60年代初，神经网络研究开始兴起，受到广泛关注。 第一次寒冬：1970年代，由于理论和技术上的限制，神经网络研究进入低谷期。 反向传播算法的引入：1980年代中期，反向传播算法的提出极大地推动了神经网络的研究和发展。 第二次寒冬：1990年代中期，尽管有了突破性的进展，但由于计算资源和数据量的限制，神经网络再次遭遇挫折。 深度学习的复兴：21世纪初至今，随着GPU技术的发展、大数据时代的到来以及算法的不断创新，深度学习迎来了爆发式的增长。 与日俱增的数据量： 互联网时代：随着互联网的普及，数据生成的速度大大加快。 社交媒体：社交媒体平台成为海量数据的重要来源之一。 物联网：各种传感器设备不断收集环境数据，进一步丰富了数据资源。 大数据技术：Hadoop等大数据处理框架为存储和处理大规模数据提供了技术支持。 与日俱增的模型规模： 参数数量增加：随着模型复杂度的提升，模型中的参数数量也在不断增加。 深层架构：从最初的几层到现在的上百层甚至更多，神经网络的层数不断增加。 并行计算：GPU等硬件技术的进步使得大型模型的训练成为可能。 与日俱增的精度、复杂度和对现实世界的冲击： 精度提升：随着模型的改进，识别和预测的准确率不断提高。 应用场景扩展：从图像识别到自然语言处理，再到推荐系统等领域，深度学习的应用范围越来越广泛。 社会经济影响：人工智能技术的发展对各行各业产生了深远的影响，促进了产业升级和社会变革。 二、应用数学与机器学习基础 线性代数： 标量、向量、矩阵和张量：介绍了这些基本概念及其在深度学习中的应用。 矩阵和向量相乘：讲解了如何进行矩阵和向量之间的乘法操作。 单位矩阵和逆矩阵：单位矩阵是重要的特殊矩阵，逆矩阵对于解决线性方程组等问题至关重要。 线性相关和生成子空间：线性相关的概念有助于理解数据的空间表示。 范数：范数可以用来衡量向量或矩阵的大小和特性。

MySQL必知必会的资源，适合MySQL学习。

Oracle学习资料，我学Oracle的时候记下来的，只有一部分！呵呵！仅供参考，大家一起进步

Bi-LSTM MATLAB Code – DataScience-Notes 数据科学笔记。提供有关数据科学的笔记、代码和实例，涵盖数学、统计、机器学习、深度学习等基础知识及相关应用场景。参考资料已在最后列出。大部分代码采用Python编写，涉及的库及框架包括： NumPy、SymPy、Scikit-learn、Gensim、TensorFlow 1.X、TensorFlow 2.X 和 MXNet。部分数值分析代码则使用MATLAB编写。 注释：- (notebook): Jupyter Notebook 文件链接- (MATLAB): 相应的 MATLAB 代码链接- (md): Markdown 文件链接- (link): 外部链接 目录1. Prerequisite Knowledge (必备知识)- 1.1 Basic Concepts Related to Mathematics and Python Implementation (数学相关基础概念和Python实现)- Vector and Determinant (向量和行列式)- Matrix (矩阵及其运算)

本压缩包中包括四本MATLAB学习书籍：1. Matlab_数学手册2. MATLAB R2016完全一本通3. MATLAB编程4. MATLAB基础及其应用教程

归纳学习假设机器学习的任务是在整个实例集合X上确定与目标概念c相同的假设。一般H表示所有可能假设。H中每个假设h表示X上定义的布尔函数。由于对c仅有的信息只是它在训练样例上的值，因此归纳学习最多只能保证输出的假设能与训练样例相拟合。若没有更多的信息，只能假定对于未见实例最好的假设就是训练数据最佳拟合的假设。定义归纳学习假设：任一假设如果在足够大的训练样例中很好地逼近目标函数，则它也能在未见实例中很好地逼近目标函数。（Function Approximation）。决策树基本概念从机器学习看分类及归纳推理等问题（4）第6章决策树

在MySQL的学习过程中，我积累了一些宝贵的经验。虽然最初想逐个分析源码文件，但最终决定分享我在过去几年中开发自己的数据库引擎所走过的路。希望这些经验对大家有所帮助。

购买的书籍中使用的语句均是基于Scott表，而Oracle XE版本默认没有这个表。将该文件导入可以用于学习。