先决条件–操作系统类型
1.批处理:
批处理是指在特定时间段内批量处理大量数据。它一次可处理大量数据。当数据大小已知且有限时, 使用批处理。处理数据只需要一点时间。它需要专门的人员来处理问题。批处理程序以多次处理来处理数据。如果超时收集数据并将相似的数据进行批处理/分组在一起, 则在这种情况下, 将使用批处理。
批处理的挑战:
- 这些系统的调试很困难, 因为它需要专门的专业人员来修复错误。
- 软件和培训最初只是为了了解批处理计划, 触发, 通知等而需要大量费用。
2.流处理:
流处理是指在产生连续数据流时立即对其进行处理。它实时分析流数据。当数据大小未知且无限且连续时, 将使用流处理。处理数据需要几秒钟或几毫秒。在流处理中, 数据输出速率与数据输入速率一样快。流处理器只需几步就可以处理数据。当数据流是连续的并且需要立即响应时, 则在这种情况下使用流处理。
流处理的挑战:
- 数据输入速率和输出速率有时会产生问题。
- 处理大量数据并立即做出响应。
批处理和流处理之间的区别:
序号 | 批处理 | 流处理 |
---|---|---|
01. | 批处理是指在特定时间段内批量处理大量数据。 | 流处理是指在产生连续数据流时立即对其进行处理。 |
02. | 批处理一次处理大量数据。 | 流处理实时分析流数据。 |
04. | 在批处理中, 数据大小是已知且有限的。 | 在流处理中, 数据大小是未知的, 并且事先是无限的。 |
05. | 在批处理中, 数据是多次处理。 | 在流处理中, 数据通常经过几次处理。 |
06. | 批处理程序需要更长的时间来处理数据。 | 流处理器需要几秒钟或几毫秒来处理数据。 |
07. | 在批处理中, 输入图是静态的。 | 在流处理中, 输入图是动态的。 |
08. | 在此处理中, 将在快照上分析数据。 | 在此处理中, 对数据进行连续分析。 |
09. | 在批处理中, 响应在作业完成后提供。 | 在流处理中, 立即提供响应。 |
10. | 示例是分布式编程平台, 例如MapReduce, Spark, GraphX等。 | 示例是诸如火花流和S4(简单可扩展流系统)之类的编程平台。 |
11. | 批处理用于工资和计费系统, 食品处理系统等。 | 流处理用于股票市场, 电子商务交易, 社交媒体等。 |
评论前必须登录!
注册