新浪

来自新浪微博的工程师分享了他们在使用和管理Redis方面的经验，这场演讲提供了宝贵的实战知识，让参与者对大规模Redis部署有了更深入的理解。

在抓取新浪教育、财经、科技、军事等栏目文章时，部分文章链接失效，可能由于后台删除文章但保留链接导致。针对此问题，程序进行异常处理，跳过不存在文章，最终成功获取各栏目文章数据。 | 类别 | 考研 | 公务员 | 高考 | 留学 | 中考 | 黄金 | 证券 | 欧洲经济 | 科技 | 军事 | 总计 || -------- | ---- | ------ | ---- | ---- | ---- | ---- | ---- | -------- | ---- | ---- | ---- || 文章数目 | 2489 | 2140 | 2099 | 2444 | 654 | 2200 | 2201 | 1511 | 2050 | 2518 | 20306|

随着新浪微博用户群体的扩大，解决新浪微博数据获取问题已成微博研究的首要任务。提出了结合新浪微博API和页面解析技术的数据获取优化方案。通过控制API调用频率和方法，获取JSON对象并高效解析数据。同时，结合网络爬虫和页面解析技术，解决了由于API接口不完善和调用限制导致的数据获取不全面的问题。实验表明，结合两种方法可以有效实现对新浪微博数据的全面高效获取。

新浪微博开放平台的Redis应用实践涉及Redis技术简介及其在新浪微博平台上的具体应用案例。

在社交网络领域，微博作为信息传播与互动的重要平台，其影响力不可忽视。除了新浪微博外，中国还有一款名为ThinkSNS的开源社交网络系统，以其强大功能和高度定制性受到广泛关注。深入探讨了仿新浪微博程序ThinkSNS，它是基于PHP开发的开源社交平台，提供类似微博的社交体验，并支持论坛、问答和博客等多种功能。ThinkSNS采用模块化设计，用户可根据需求选择安装不同功能模块，如新闻、问答和论坛，极大地提升了系统的灵活性和扩展性。该系统支持PC端和移动端，包括Android和iOS应用，确保用户在不同设备上的良好体验。基于Laravel框架，ThinkSNS表现出色，能够处理高并发访问，满足大规模用户的社交需求。此外，系统提供丰富的API接口，方便开发者进行二次开发和与其他系统集成。安全性方面，系统严格遵循Web开发安全规范，保障用户数据安全。ThinkSNS拥有活跃的开发者社区，用户可在此获取技术支持和参与系统完善。支持自定义主题和安装第三方插件，满足个性化需求，使每个社交站点展现独特风格。系统还支持多语言切换，便于构建全球用户面向的社交平台。提供强大的内容管理功能，包括内容审核和举报机制，帮助维护健康的社交环境。内置数据分析工具，可实时监控网站运营数据，为管理者提供决策依据。总之，ThinkSNS不仅在功能上实现了微博的基本特性，还在社交网络的多样化、用户体验和可扩展性方面进行了优化和创新。

Qcon2011杭州上的ppt详述了新浪微博开放平台如何利用redis进行实际应用。

提出基于API与网页解析两种方案。API控制调用频率，获取JSON数据。网页解析技术与API结合，解决API接口限制。实验表明，两种方案结合可实现新浪微博数据高效全面的获取。

这份数据展示了新浪微博在2011年11月7日当天的各项数据指标，对于希望了解微博平台数据特征和趋势的API开发者和研究人员有一定的参考价值。

杨海朝老师，新浪首席数据库管理专家，拥有丰富的大规模高并发和海量访问网站数据库运维经验。他专注于数据库设计、性能优化、分布式部署和高可用性方案研究。曾在康盛创想工作，负责大访问量网站的部署和优化。2007年加入新浪，负责整个公司的数据库管理。课程内容涵盖MySQL基础、InnoDB参数优化、硬件优化与监控、基准测试、Schema设计与索引、SQL优化与高级特性、备份与恢复深入、复制、高可用及扩展架构、工具使用、监控和新技术应用，以及常见问题解答和MySQL集群实战。

在新浪微博的架构设计中，数据库系统采用了MySQL+Redis的组合，实现了高效的数据存储与读取。具体而言，新浪的架构分为两个阶段： 第一阶段：先写入MySQL数据库，并通过触发器机制实时更新Redis缓存，以保证数据一致性和读取效率。 第二阶段：数据直接写入Redis，通过钩子机制备份至MySQL，确保数据的高可用和冗余存储。 本资源包含两部分内容： 《新浪_杨海朝_redis运维之道》：一本PPT资料，提供Redis部署架构的宏观视角，帮助您快速了解整体布局和工作原理。 《新浪_杨海朝_redis经验谈》：一本详细的文档，深入剖析了Redis在新浪架构中的具体实现细节，适合对Redis架构运维感兴趣的读者学习。 建议读者将两本资源结合阅读，以全面掌握Redis的运维策略和实际应用。