由于移动应用技术的持续性的快速发展现实生活中人们大多数都是通过移动手机、电脑等智能设备来完成生活中的事务。因此许多的人工传统行业也开始与互联网结合不再一味的依靠人工劳动努力打造半自动数字化甚至是全自动数字化模式。于是以离线数仓的机票行情分析系统作为例子利用Python爬虫技术获取热度统计、终地统计、价格分析、特价机票、热度分析的数据并对这些数据进行处理 然后对这些数据进行可视化分析和预测。给人们提供一些客观的数据方便他们参考这给今后的大数据系统维护带来了便利同时也为将来开发类似的大数据系统提供了参考和帮助。Python爬虫技术目前来说是比较常用的从网页获取数据的方法之一。而 Python语言也是比较受欢迎尤其是在人工智能和大数据领域有着广泛的应用。特别是 Python的第三方库让人们能够通过简单的代码解决更多的难题。同时对数据的处理也比较方便快捷。其中主要通过 RequestsBeautifulsoup 进行网页分析和数据爬取 然后再使用 NumpyMatplotlibPandas 对所爬取的数据进行可视化分析。还通过聚类算法依据所爬取的数据进行一个总结使我们了解离线数仓的机票行情分析系统的基本特征和分布情况。帮助那些需要的人做出决策。离线数仓的机票行情分析系统是基于Web服务模式采用面向对象的程序设计方法实现一个具有通用功能的模型结构。使用该系统的条件仅是需要具备连上互联网的能力并能够通过移动设备登录系统。本系统分为前端和后端具体实现的系统功能结构图如图4.1所示对于离线数仓的机票行情分析系统获取之后开始对热度统计、终地统计、价格分析、特价机票、热度分析这些数据进行可视化分析如图5.2所示