九游中国体育官方入口 九游体育本文整理自中国电信集团大数据架构师李新虎老师在Flink Forward Asia 2024的分享，围绕星海时空智能系统展开，涵盖四个核心部分：时空数据现状、实时场景多引擎化、典型应用及未来展望。系统日处理8000亿条数据，具备亚米级定位能力，通过Flink多引擎架构解决数据膨胀与响应时效等问题，优化资源利用并提升计算效率。应用场景包括运动状态识别、个体行为分析和群智感知，未来将推进湖仓一体改造与三维时空服务体系建设，助力数字化转型与智慧城市建设。

　　摘要：本文整理自中国电信集团大数据架构师李新虎老师在 Flink Forward Asia 2024 行业解决方案（一）中的分享。内容主要为以下四个部分：

　　在数字化时代，数据的实时处理与分析对于企业的决策和发展至关重要。中国电信的星海时空智能系统承担着处理海量时空数据的重任，随着业务的不断拓展，对数据处理的实时性、准确性和效率提出了更高的要求。基于 Flink 的多引擎实时改造项目应运而生，旨在解决现有系统面临的诸多挑战，提升时空数据处理的能力和价值。

　　接下来将从四个方面进行介绍：时空数据的现状、实施场景的多引擎化、典型应用以及未来展望，包括电信在深空智能方面的一些工作和布局。

　　星海时空智能系统依托中国电信庞大的用户信令数据资源，涵盖了 4.3 亿用户的位置轨迹和特征信息。该系统具备强大的核心能力，日处理数据量高达 8000 亿条，数据存量达到 44,030 TB（约 43 PB），且每日增量40 TB。它能够支撑超 1000 万/日的触达用户，为众多业务场景提供了坚实的数据基础。凭借其卓越的性能和创新的技术，在 2024 年 8 月荣获中国国际大数据产业博览会优质科技成果奖。

　　构建“ 3(内部数据、生态、网元)+1(中间通用能力)+N(行业通用场景) ”的位置能力体系

　　数据底座是整个系统的数据基石，它负责采集和存储来自信令、网元、工参等多个数据源的数据。这些数据来源广泛，为后续的分析和应用提供了丰富的素材。通过高效的数据采集和存储机制，确保了数据的完整性和及时性。

　　网元底座支持 LPP 协议以及 ECID/OTDOA 等先进的定位技术，能够实现亚米级的高精度定位。这对于需要精确位置信息的业务场景，如应急救援、智能交通等具有重要意义。通过不断优化定位算法和技术，提高了定位的准确性和可靠性。

　　生态底座融合了中科院、高校等科研机构的专业知识，以及百度、高德等外部企业的数据资源和隐私计算能力。这种开放的生态合作模式，使得系统能够充分利用各方优势，不断拓展数据的维度和应用的边界。同时，隐私计算技术的应用保障了数据的安全性和合规性。

　　在这一阶段，采用了 Flume + Storm 架构，主要解决了基础数据的收集问题。该架构通过 Flume 进行数据的采集和传输，Storm 进行实时计算，为后续的系统发展奠定了基础。然而，随着业务的增长，这种架构逐渐暴露出性能和扩展性方面的不足。

　　引入了 Flink 1.11 进行部署，并实现了统一资源池和自动扩缩容功能。Flink 的高性能和低延迟特性使得数据处理效率得到了显著提升，统一资源池的管理方式提高了资源的利用率，自动扩缩容功能则能够根据业务负载动态调整资源配置，确保系统的稳定性和可靠性。

　　构建了实时数仓的分层分类体系，实现了基站、网格、区划等不同粒度的数据汇总能力。通过对数据的分层处理，提高了数据的组织性和可管理性，为后续的数据分析和挖掘提供了更高效的支持。

　　进入多引擎架构阶段，整合了运动状态、个体行为、群智感知三大引擎。多引擎架构的引入使得系统能够更好地应对不同业务场景的需求，提高了系统的灵活性和适应性。

　　随着业务的发展，数据域从最初的 5 个增加到 10 个，导致数据量急剧增长。这不仅增加了计算资源的需求，还对存储和处理能力提出了更高的挑战。传统的架构难以应对如此大规模的数据增长，容易出现性能瓶颈。

　　在相同的业务场景中，由于不同部门或项目的需求差异，存在多个版本的口径和计算规则。这导致了数据的不一致性和重复计算，增加了开发和维护的成本，同时也影响了业务决策的准确性。

　　传统的烟囱式架构采用独立开发和部署的方式，各个业务模块之间缺乏有效的协同和共享。这种架构难以满足业务的敏捷需求，在面对市场变化和业务创新时，响应速度较慢，无法及时提供准确的数据分析和决策支持。

　　多引擎架构采用了 Kafka + Redis + HBase 的存储层组合。Kafka 作为高性能的消息队列，负责数据的实时传输和缓冲；Redis 作为内存数据库，提供快速的数据读写服务，用于缓存热点数据；HBase 作为分布式列式数据库，用于存储海量的结构化数据。同时，采用 Flink CDC + CEP 技术实现实时规则的更新和复杂事件的处理。

　　系统通过 AOI（电子围栏）技术对目标数据流进行过滤，只处理进入特定区域的数据。同时，支持通过配置化的方式设置引擎参数，如驻留阈值等。这种配置化的设计使得系统能够根据不同的业务需求灵活调整计算规则，提高了系统的灵活性和可扩展性。

　　从最初的多链路烟囱式开发模式，逐步演进到引擎规则配置化的架构。通过将计算规则抽象为配置文件，实现了动态任务映射，使得系统能够根据业务需求快速调整计算逻辑，减少了开发和部署的时间成本。

　　离线数仓负责生成画像和标签数据，这些数据通过配置中心的 Web 界面或 API 进行配置。配置中心利用 Flink CDC 技术实时同步规则变更，确保新的规则能够及时生效。这种实时同步的机制使得系统能够快速响应业务变化，提高了系统的敏捷性。

　　通过架构和算法的优化，系统显著降低了资源消耗：CPU 核心需求减少 1 万+，Kafka 存储节省 100T。

　　异常告警数量降低了 60%，说明系统的稳定性和可靠性得到了显著提高。同时，计算时间复杂度优化至原来的 1/9，大大缩短了数据处理的时间，提高了业务响应速度。

　　Kafka Topic 从 311 个精简至 187 个，减少了数据的冗余和重复存储，提高了数据的复用性。这使得系统的架构更加简洁，维护成本也相应降低。

　　采用 1 分钟/5 分钟窗口去重技术，对轨迹点数据进行去重处理。通过对相同时间段内的重复轨迹点进行过滤，数据量压缩了 79%，减少了存储和计算的负担。

　　利用 Flink CDC 驱动双流 Join 技术，实现规则变更的实时生效。当规则发生变化时，系统能够快速将新规则应用到数据流中，确保计算结果的准确性和及时性。

　　将二维空间计算转化为一维前缀匹配，通过 GeoHash 编码技术，提高了空间数据的检索效率。实验表明，该技术的检索效率提升了 9 倍，能够快速定位目标区域内的数据。

　　通过优化基站映射算法，将点面相交计算复杂度降低为 1/k（k 为多边形顶点数）。这使得在处理大量基站数据时，能够更加高效地进行映射和匹配，提高了数据处理的性能。

　　在应急监控平台中，运动状态识别引擎能够实现“漫入漫出”的识别功能。该功能广泛应用于翼联呵护、重点人管理等 3 类业务场景，通过对人员的运动轨迹和速度进行实时监测和分析，为应急管理提供了重要的决策支持。

　　在医保报销流程中，个体行为识别引擎发挥了重要作用。通过整合刷卡记录和位置信息进行核验，实现了当天闭环处理。这不仅提高了医保报销的效率和准确性，还能够有效防范医保欺诈行为。

　　在文旅景区客流分析场景中，群智感知引擎能够实时监测景区内的客流分布情况。通过对游客的位置和行为数据进行分析，为景区管理部门提供实时的客流引导和安全保障建议，确保节假日期间景区的安全和有序运营。

　　推进湖仓一体改造，构建分钟级增量数据处理能力。通过将数据湖和数据仓库的优势相结合，实现数据的高效存储和处理，为业务提供更及时、准确的数据支持。

　　实现秒级/分钟级/小时级三维时空服务体系，满足不同业务场景对时空数据的实时性需求。通过提供更加精细的时空数据服务，拓展业务应用的范围和深度。

　　融合 5G/6G、低轨卫星及室内定位技术（3GPP R18），构建更加全面、准确的时空数据采集和处理体系。通过多种技术的协同作用，提高系统的定位精度和覆盖范围。

　　拓展低空经济、智慧城市等领域的应用场景，构建空天地全域感知能力。利用时空数据为这些领域的发展提供有力支持，推动相关产业的创新和发展。

　　基于 Flink 的中国电信星海时空数据多引擎实时改造项目，通过对现有系统的架构优化和技术创新，成功解决了业务发展过程中面临的数据膨胀、场景分散和响应时效等问题。多引擎架构通过整合三大引擎，显著提升了系统的灵活性和适应性。关键优化技术的应用提升了系统的性能和效率。典型应用场景的实践证明了该项目的有效性和实用性。未来，随着技术的不断发展和业务的持续拓展，该系统将在更多领域发挥重要作用，为中国电信的数字化转型和智慧城市的建设提供有力支持。

　　阿里云基于 Apache Flink 构建的企业级产品-实时计算 Flink 版现开启活动：

　　新用户复制点击下方链接或者扫描二维码即可0元免费试用 Flink + Paimon

　　近日，我国首个云超算国家标准GB/T 45400-2025正式发布，将于今年10月实施。该标准由阿里云联合多家机构起草，为云超算在高性能计算领域的应用提供规范。云超算结合传统HPC与云计算优势，解决传统HPC复杂、昂贵等问题。阿里云E-HPC V2.0是国内首批通过该标准认证的产品，支持大规模弹性计算，显著降低成本。新标准将推动算力基础设施迈向标准化、智能化新时代。

　　Bolt.diy 是 Bolt.new 的开源版本，提供灵活的自然语言交互与全栈开发支持。基于阿里云函数计算 FC 和百炼模型服务，最快5分钟完成部署。新手注册阿里云账号后可领取免费额度，按指引开通相关服务并授权。通过项目模板一键部署，配置 API-KEY 后即可使用。Bolt.diy 支持多种场景，如物联网原型开发、久坐提醒、语音控制灯光等，助力快速实现创意应用。

　　阿里云百炼推出业界首个全生命周期MCP服务，支持一键在线注册托管。企业可将自研或外部MCP服务部署于阿里云百炼平台，借助FC函数计算能力，免去资源购买与服务部署的复杂流程，快速实现开发。创建MCP服务仅需四步，平台提供预置服务与自定义部署选项，如通过npx安装代码配置Flomo等服务。还可直接在控制台开通预置服务，体验高效便捷的企业级解决方案。

　　阿里云百炼推出首个全生命周期MCP服务，支持一键部署、无需运维，具备高可用与低成本特点。该服务提供多类型供给、低成本托管及全链路工具兼容，帮助企业快速构建专属智能体。MCP（模型上下文协议）作为标准化开源协议，助力大模型与外部工具高效交互。教程涵盖简单部署、GitHub运营、数据分析可视化及文档自动化等场景，助您快速上手。欢迎加入阿里云百炼生态，共同推动AI技术发展！

　　通义灵码个人版为开发者免费提供智能编码能力，专业版限免期内开放更多功能。使用需先注册阿里云账号，支持JetBrains IDEs、Visual Studio Code等开发工具。以Visual Studio Code为例，安装插件并登录后即可体验其强大功能。通义灵码2.0在代码生成、需求理解及单元测试自动化等方面有显著提升，支持多语言和复杂场景，大幅提高开发效率。

　　一键部署 Dify + MCP Server，高效开发 AI 智能体应用

　　本文将着重介绍如何通过 SAE 快速搭建 Dify AI 研发平台，依托 Serverless 架构提供全托管、免运维的解决方案，高效开发 AI 智能体应用。

　　5年前，我把 AI 比喻为一种智能化的 API 网关，提出一种分治的思想，将一个大问题转换为若干可解的小问题，如今，这种思想正在 mcp 这种协议沿用。但目前来看，它的实现方式还是有点丑陋的，并且有一些问题。

　　利用通义灵码AI在VS Code中快速开发扫雷游戏：Qwen2.5-Max模型的应用实例

　　本文介绍了如何利用阿里云通义灵码AI程序员的Qwen2.5-Max模型，在VS Code中一键生成扫雷小游戏。通过安装通义灵码插件并配置模型，输入指令即可自动生成包含游戏逻辑与UI设计的Python代码。生成的游戏支持难度选择，运行稳定无Bug。实践表明，AI工具显著提升开发效率，但人机协作仍是未来趋势。建议开发者积极拥抱新技术，同时不断提升自身技能以适应行业发展需求。

　　Bolt.diy 是一款无需代码基础即可创建个性化网站的工具，基于阿里云函数计算 FC 和百炼大模型服务，通过自然语言交互实现全栈开发。用户只需描述需求，Bolt.diy 即可快速生成网站，支持灵活定制与二次开发。部署简单，提供免费试用额度，适合从初学者到专业开发者各类人群。无论是快速原型设计、教育工具开发还是企业级应用，Bolt.diy 均展现出高效与便捷的优势。然而，新手可能需要更多时间熟悉云服务配置与高级功能。

　　Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示

　　Flink SQL 功能解密系列 —— 流计算“撤回(Retraction)”案例分析

　　Flink Forward Asia 2025 新加坡站议题征集开启｜The future of AI is Real-Time