建议您在开始考虑潜在解决方案之前,先阅读全部自述文件。在深入研究具体细节之前,复习示例并从高层次理解问题是很有用的。FAQ中涵盖了许多细节。许多投资者,研究人员,新闻工作者和其他人员使用美国证券交易委员会的电子数据收集,分析和检索(EDGAR)系统来检索财务文件,无论是在深入研究特定公司的财务状况还是在学习公司拥有的新信息。 SEC维护EDGAR网络日志,显示哪些IP地址访问了哪个公司的哪些文档以及发生的日期和时间。想象一下,美国证券交易委员会(SEC)要求您获取数据并生成一个仪表板,以提供有关用户访问EDGAR的实时视图,包括他们停留多长时间以及访问期间访问的文档数量。尽管SEC通常会在六个月的延迟后公开提供其EDGAR博客,但请想象一下,政府实体已承诺将实时且无延迟地将数据流传输到您的程序中。作为数据工程师,您的工作是建立一条管道,以吸收该数据流,并计算出特定用户在访问期间在EDGAR上花费的时间以及该会话期间用户请求的文档数量。