了解挑战之前,我们强烈建议您先阅读完本自述文件的全部内容。在深入研究具体细节之前,复习这些示例并从高层次理解问题可能会很有帮助。FAQ中详细覆盖了许多细节。许多投资者、研究人员、新闻工作者和其他人员使用美国证券交易委员会(SEC)的电子数据收集、分析和检索(EDGAR)系统来获取财务文件,无论是深入研究特定公司的财务状况还是获取新信息。SEC维护EDGAR网络日志,记录IP地址访问的公司文档及访问时间和日期。对于您面临的挑战,想象一下,政府实体要求您实时传输数据,展示用户在EDGAR上的访问情况,包括停留时间和访问的文档数量。尽管SEC通常会在六个月后公开EDGAR日志,但挑战在于实时无延迟地传输数据到您的程序。作为数据工程师,您需要建立管道来接收数据流,计算特定用户在会话期间在EDGAR上的停留时间及请求的文档数量。