e-greedy

MATLAB 实现 e-greedy 算法，用于解决 n-armed bandits 问题，结果重现了强化学习导论第 2.2 章的图表。

10-Armed Bandit Testbed: This script uses the greedy algorithm to simulate a testbed of 10-armed bandits. The setup involves 2,000 randomly generated k-armed bandit problems with k = 10. For each bandit problem, the action values, q*(a) for a = 1, 2, ..., 10, are selected from a normal distribution with a mean of 0 and a variance of 1. During each time step t, a learning method selects an action At, and the actual reward Rt is drawn from a normal distribution with a mean of q*(At) and variance 1. By evaluating performance over 1,000 time steps for each testbed, we obtain a performance measure that shows improvement in the learning method over time. Each test is considered a run, and we conduct 2,000 independent runs with unique bandit problems. This simulation enables us to measure the average behavior of the greedy algorithm using sample average techniques to estimate action values. We then compare the average reward over 2,000 simulations. The code also allows for modification to evaluate non-greedy algorithms.

包含专有信息，受版权和其他知识产权法保护。您可以在Oracle培训课程中仅仅复制和打印以供个人使用。不得以任何方式修改或更改。除非您的使用符合版权法的“合理使用”，否则您不得使用、分享、下载、上传、复制、打印、展示、执行、复制、出版、许可、张贴、传输或分发的全部或部分内容，未经Oracle明确授权。

添加统计分析变量，从主菜单栏选择【HFSS】→【Design Properties】命令，打开“设计属性”对话框。在该对话框中，选中Statistics单选按钮；在变量列表中，勾选变量width和height对应的Include复选框，选中该复选框表示该变量可用于统计分析，反之则不可以用于统计分析。选择均匀分布作为Distribution项，并设置统计分布参数，对于变量width，设置均值（Mean）为0.806 mm、容差（Tolerance）为10%；对于变量height，设置均值为0.5 mm、容差为10%。

详细介绍了Optimetrics模块在微带线特征阻抗分析中的应用。通过参数扫描分析、优化设计、调谐分析、灵敏度分析和统计分析，演示了微带线宽度、介质层厚度对特征阻抗的影响。使用HFSS进行具体分析，对微带线模型进行操作，以优化设计微带线的性能。详细操作步骤和实验结果可在附带的HFSS设计文件中查看。

8e16e数据库经过高压缩处理后大小为5.25GB，解压后约为17.9GB。如果因内存不足无法打开，建议使用其他文本工具尝试打开，例如记事本等。

图7.42展示了中国邮政e邮宝、e包裹、e特快EMS API的统计分析结果。完成统计分析后，通过工具栏按钮保存设计，然后选择【File】→【Close】关闭当前工程设计。

图7.38展示了中国邮政e邮宝、e包裹、e特快ems API的灵敏度分析结果。完成灵敏度分析后，点击工具栏按钮保存设计，并选择主菜单【File】→【Close】命令关闭当前工程设计。统计分析表明，设计参数容差对微带线的特征阻抗影响显著。例如，在width = 0.806 mm，height = 0.5 mm时，微带线的特征阻抗约为50 Ω，但由于制造工艺限制，实际生产中会存在一定的误差。

图7.41中添加统计分析设置操作。运行统计分析时，单击工具栏按钮检查设计的完整性和正确性。如果设计完整且正确，即可启动统计分析。展开工程树下的Optimetrics节点，右键单击Optimetrics节点下的StatisticalSetup1项，选择【Analyze】命令以开始运行统计分析。完成统计分析后，右键单击工程树Optimetrics节点下的StatisticalSetup1项，选择【View Analyze Result…】命令，打开Post Analysis Display对话框，显示微带线特征阻抗的统计分布直方图，如图7.42所示。

在数据库设计过程中，将多个局部E-R图合并为一个初步E-R图至关重要。由于不同的设计人员根据不同应用视角设计分E-R图，因此存在冲突。合并的主要任务是合理消除这些冲突，确保初步E-R图的一致性。