Hadoop开发注意事项

注意虚拟化数据 其他注意事项（待补充）

流处理开发的关键注意事项包括：1. 程序的稳定性要有保障；2. 确保-mapper和-reducer路径使用绝对路径；3. 确保map/reduce脚本具备可执行属性；4. 调试map/reduce脚本的语法和逻辑；5. 对map/reduce脚本进行线上小规模数据测试；6. 关注Hadoop Job的输出和运行界面；7. 使用nohup命令保存Job输出结果；8. 在程序遇到异常时主动退出，如从标准输入读取EOF或遇到管道中断；9. 确保处理中文时源文件为UTF-8格式。

MySQL学习时的注意事项包括使用tread和write选项施加表级读锁或写锁。MySQL客户端A可以使用lock tables命令同时为多个表施加表级锁，期间不能对未锁定的表进行更新或查询操作，否则将抛出错误信息“表未被锁定”。在MyISAM表中，表级锁的应用需特别注意。

不要仅仅因为将optimizer_mode参数设置为rule而认为所有语句都将使用基于规则的优化器。无论optimizer_mode参数如何设置，只要满足以下三个条件，就一定会使用CBO：1）如果使用索引优化表（IOTs），则自动使用CBO。2）从Oracle 7.3版本开始，如果表的并行度选项设为大于1，则自动使用CBO，而不考虑是否使用rule hints。3）除了rule之外的任何hints都将导致自动使用CBO来执行语句。

安装SQL Server 2008时，有人认为需要先安装VS200x或者先安装SQL，但实际上安装顺序并不重要。经过测试，各种安装顺序均无问题。

建议在SQL调优培训中，使用DBMS_STATS包替代ANALYZE语句来收集统计信息。DBMS_STATS包支持并行统计信息收集，适用于分区对象，同时提供其他优化选项。需要使用ANALYZE来收集基于成本优化器无关的信息，如使用VALIDATE或LIST CHAINED ROWS子句来收集freelist块信息。

在书写SQL语句时，需要注意不区分大小写，每条语句可以跨多行书写，但不可将多条语句写在同一行。

在开发数据库系统时，需要注意以下几点： DataModule 中组件的引用: 如果将所有数据库组件都放置在 DataModule 中，那么在其他单元中使用这些组件（例如 ADOConnection）时，必须使用 USE 语句引入 DataModule 单元。否则，将无法建立关联引用，导致组件无法正常使用。 数据规则的集中管理: 将数据规则定义在同一模块中是一种良好的编程习惯。这样做不仅方便使用和维护，而且便于程序的扩充，并易于迁移到三层或多层应用架构。因此，建议将所有相关组件集中管理，以提高代码的可维护性和可扩展性。

在SQL查询中使用WHERE子句时需要注意的事项，特别是在涉及副查询描述时。尽管基本上应避免使用副查询以确保性能，但在某些情况下，如仕様所需，可以考虑使用。例如，SELECT TBL_A.COL1, TBL_A.COL2 FROM TBL_A WHERE TBL_A.COL1 =（SELECT TBL_B.COL1 FROM TBL_B WHERE TBL_B.COL3 = ‘AAA’）。在这种情况下，使用副查询可能会导致性能问题，因此需要谨慎使用。