Kafka 负责 “搬数据”，Spark 负责 “算数据”，二者结合实现 “实时数据从产生到分析再到应用” 的完整闭环。维度KafkaSpark核心功能1. 消息发布 / 订阅（Producer-Consumer 模式） 2. 流数据持久化（将实时数据存储为日志文件） 3. 数据回溯（支持消费历史数据，如重新处理昨天的日志）1. 批处理（全量计算，如分析上月销售数据） 2. 流处理（增量计算，如实时统计当前小时订单量） 3. SQL 查询（用 SQL 分析数据） 4. 机器学习（如用户画像建模）数据存储自带存储：将数据以 “分区日志文件” 形式存在磁盘，支持长期保存（可配置保留期）无自带存储：依赖外部系统（如 Kafka 取流数据、HDFS 存批处理数据、MySQL 存结果）数据处理模式仅 “传输 / 存储”，不做计算：数据从 Producer 进入，按 Topic 分区存储，Consumer 按需读取主动 “计算”：接收外部数据，通过算子（如 map、filter、join）完成计算，输出结果延迟特性自身延迟极低：毫秒级（数据从 Producer 写入到 Consumer 可读）批处理：分钟 / 小时级（全量数据计算） 流处理：秒级（基于微批处理，如 Spark Streaming）或毫秒级（Structured Streaming 连续处理）高可用保障基于副本机制：每个 Topic 分区有多个副本，避免单点故障，数据不丢失基于 Driver/Executor 集群：Driver 负责调度，Executor 负责计算，支持任务重试和故障恢复

场景Flink 优势Spark 优势实时流处理（低延迟）毫秒级延迟，事件驱动，适合高频实时场景秒级延迟，微批处理，适合延迟不敏感场景批处理（全量数据）性能接近 Spark，但生态支持较弱内存计算优化好，大批次处理速度更快复杂状态计算（如窗口）状态管理高效，支持超大状态和乱序数据状态处理简单，复杂场景下性能易瓶颈机器学习 / 图计算无专用组件，依赖外部集成MLlib/GraphX 成熟，支持端到端建模Flink 是 “实时流处理的专家”，在低延迟、高一致性场景中不可替代；Spark 是 “批处理的王者”，以生态丰富性覆盖更多元化的大数据计算需求。维度FlinkSpark处理模型原生流处理： 数据以 “连续流” 形式处理，每个事件实时触发计算（事件驱动）微批流处理： 流数据被切分成 “小批次”（如 1 秒一批），按批次处理（批处理驱动）延迟与吞吐量延迟极低（毫秒级），高吞吐（支持每秒数百万事件） （流处理场景下，延迟和吞吐可灵活调优）延迟较高（秒级，取决于微批大小），高吞吐（批处理场景下性能极强） （微批越小延迟越低，但吞吐量下降）数据一致性语义天然支持Exactly-Once（精确一次），通过分布式快照（Checkpoint）机制实现，状态一致性保障强Structured Streaming 支持 Exactly-Once，但依赖外部存储的事务支持； 早期 Spark Streaming 默认 At-Least-Once（至少一次）状态管理内置完善的状态后端（如 RocksDB），支持超大状态（TB 级），状态可持久化、增量 Checkpoint，适合复杂状态计算（如窗口聚合、关联）状态管理较简单，状态存储依赖 Executor 内存或外部系统（如 Redis），复杂状态下性能和可靠性较弱窗口计算支持丰富的窗口类型： 时间窗口（滚动、滑动、会话）、计数窗口、会话窗口，且窗口触发精确（基于事件时间）窗口基于微批触发，时间窗口依赖系统时间或事件时间，但触发精度受微批间隔限制（如 1 秒批处理，窗口最小精度 1 秒）事件时间支持原生支持事件时间（Event Time），可基于数据自带的时间戳处理乱序数据（通过 Watermark 机制），准确性高支持事件时间，但依赖微批处理，乱序数据处理能力较弱（Watermark 更新频率受微批间隔限制）批流一体底层引擎统一（流处理引擎处理批数据），API 层面批流逻辑可复用（如 DataStream API 处理有界流即批处理）批处理（Spark Core）和流处理（Structured Streaming）底层引擎不同，API 虽统一但执行逻辑分离生态系统流处理生态完善（如与 Kafka、Hudi、Elasticsearch 集成紧密），批处理生态相对简单（依赖 Hive 等）批处理生态极丰富：Spark SQL（SQL 分析）、MLlib（机器学习）、GraphX（图计算），与 Hadoop 生态无缝衔接

HBase 是基于 Hadoop 的分布式、列存储 NoSQL 数据库，核心用于存储和实时读写 PB 级别的非结构化 / 半结构化数据，尤其擅长高并发的随机访问场景，是大数据生态中 “实时数据存储” 的关键组件。组件定位核心优势核心劣势适用场景HBase分布式列存储 NoSQL实时随机读写、高并发、PB 级存储不支持复杂 SQL、全表扫描慢实时查询、海量时序数据Hive数据仓库工具（SQL 引擎）支持复杂 SQL、批处理分析不支持实时读写、延迟高离线报表、批处理分析HDFS分布式文件系统高可靠、低成本、批处理友好不支持随机读写、无索引数据存储（如 HBase/Hive 的底层存储）Redis内存数据库亚毫秒级延迟、支持复杂数据结构存储成本高、数据量有限（GB 级）高频缓存、会话存储

对比维度监督学习无监督学习训练数据带标签（输入 + 答案）无标签（只有输入）核心目标学习 “输入→输出” 的预测能力发现数据内在规律（如聚类、降维）典型任务分类、回归聚类（如用户分群）、异常检测应用例子房价预测、垃圾邮件识别用户画像分群、无标签数据的特征提取监督学习落地关键步骤数据准备：收集带标签数据，清洗（处理缺失值、异常值），划分 “训练集（70%）、验证集（20%）、测试集（10%）”；模型选择：简单场景先用 baseline 模型（如逻辑回归、线性回归），复杂场景换集成算法（如 XGBoost）或神经网络；模型训练与调参：用训练集训练，用验证集调参（如调整 XGBoost 的树深度），避免过拟合；评估与部署：用测试集验证最终效果，达标后部署到业务（如接入 APP 的推荐系统、风控系统）。常见经典算法按任务类型分类，以下是工业界最常用的监督学习算法：（1）分类算法逻辑回归：简单高效，适合二分类（如 “是否违约”），可输出概率值，常用于 baseline 模型；决策树：可解释性强（能看到决策逻辑，如 “年龄> 30 且收入 > 50 万→优质客户”），但易过拟合；随机森林 / XGBoost/LightGBM：基于决策树的集成算法，精度高、抗过拟合，是分类任务的 “利器”（如 Kaggle 竞赛常用）；支持向量机（SVM）：适合高维数据（如文本分类），能找到最优分类边界，但大数据量下速度慢；卷积神经网络（CNN）：专门处理图像数据（如图片分类、人脸识别），通过卷积层提取图像特征。（2）回归算法线性回归：最简单的回归模型，假设输入与输出是线性关系（如 “面积每增加 10㎡，房价涨 10 万”），可解释性强；XGBoost/LightGBM（回归版）：处理非线性关系（如 “面积对房价的影响随地段变化”），精度远高于线性回归，是工业界主流；神经网络（如 MLP）：适合复杂非线性场景（如多特征交互的销量预测），但需要更多数据和调参经验。

物联网（ IoT ，Internet of things ）即“万物相连的互联网”，是互联网基础上的延伸和扩展的网络，将各种信息传感设备与网络结合起来而形成的一个巨大网络，实现任何时间、任何地点，人、机、物的互联互通。

物联网（Internet of Things，缩写：IoT）是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术，实时采集任何需要监控、 连接、互动的物体或过程，采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息，通过各类可能的网络接入，实现物与物、物与人的泛在连接，实现对物品和过程的智能化感知、识别和管理。物联网是一个基于互联网、传统电信网等的信息承载体，让所有能够被独立寻址的普通物理对象形成互联互通的网络

人工智能（英文名：Artificial Intelligence，英文缩写：AI）。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学

学习人工智能

学 Python 爬虫，完成 3 个实战项目，掌握数据解析技巧。

8 月深耕专业知识，梳理 3 个核心模块，完成 2 次模拟测试。