工业过程模糊控制建模中数据预处理方法研究

工业过程模糊控制中建模是关键，而数据预处理直接影响着模型收敛速度、计算量、模型质量．针对所采集的样本数据提出几个新的数据预处理方法．利用三次样条进行空缺数据的插值填充，然后利用K—均值进行输入输出空间划分与数据离散化，为模糊规则的提取做好淮备．     

基于高速公路通行大数据的跨区域货运分析建模技术

为分析跨省跨区域货运情况,帮助行业管理部门更好地制定发展策略,用数据诠释有关政策的实施效果,基于高速公路通行大数据对跨区域货运分析建模技术进行研究.首先,根据高速公路通行数据的特点,设计了数据预处理流程,提出并实现了车辆轨迹追踪模型.然后,针对货车数据中货运量、货运周转量等关键指标,建立了高速公路主要指标统计模型对缺失数据进行补全,最大限度提高数据的契合度和准确度,生成各省高速公路货运信息以及省与省之间的货运交互信息.最后,将模型应用在宏观管理决策、运输量统计分析、车辆安全监管等方面,动态反映了各省之间高速公路货运交互规律,可为各级交通运输管理部门掌握高速公路货运情况、制定行业发展政策提供支撑.     

数据融合技术在GPS数据处理中的应用

通过对GPS数据的处理,可以很方便的得到道路车速的统计值,但存在比较大误差,所以利用GPS数据分析道路车速之前,要对其做预处理来提高数据的可信度.根据数据融合的基本原理以及GPS数据的特点,本文采用了数据融合技术中的关联检验方法来对GPS数据进行处理.文章介绍了数据融合技术以及关联检验方法,最后以对上海大众出租汽车公司提供的出租汽车GPS数据的处理为例,讨论了关联检验在GPS数据处理中的应用.     

基于深度CNN-LSTM-ResNet组合模型的出租车需求预测

利用海量的离线GPS数据进行出租车需求预测是智能城市与智能交通系统的重要组成部分.本文提出了一种基于深度学习的出租车需求预测方法(CNN-LSTM-ResNet),将出租车GPS数据和天气数据等转化为栅格数据,输入模型获得预测结果.该模型先使用卷积神经网络(CNN)提取城市范围交通流量的空间特征,然后引入残差单元加深网络层数,并利用长短期记忆网络(LSTM)提取GPS数据的临近性、周期性和趋势性,最后通过权重融合以上3个分量,并与外部因素(天气、节假日和空气质量指数)进一步融合,从而预测城市特定区域的出租车需求.采用西安市出租车GPS数据进行实验验证,结果表明,该模型与传统预测模型(如ARIMA,CNN,LSTM)相比具有更高的预测精度.     

SVM入侵检测系统中数据预处理方法改进

由于网络数据的复杂性和不规范性制约着SVM分类器的精度,当前被广泛使用的数据预处理方法显得过于单一。因此,提出一种改进的数据预处理方法。首先,利用异构数据集上的奇异距离函数HVDM对数据进行归一化处理;然后,使用最近邻法对数据集修剪得到最后的训练样本,并且通过实验证明该方法可以提高SVM分类器的精度。     

基于网格模型与K-Means算法的交通状态演变特征

为利用海量网约车轨迹数据实现对城市交通状态的高效识别与分类,对成都市网约车轨迹数据进行预处理,构建城市交通状态识别网格模型,根据模型判别网格的交通状态。利用K-Means聚类算法对不同时段的交通状态进行聚类,并将交通状态分为持续畅通型、轻度缓行型、持续缓行型、持续拥堵型4种类型,从时间维度和空间维度分析不同网格的交通状态演变特征。结果表明:研究区域内交通状态相对稳定,持续拥堵区域分散,持续缓行区域较为集中。基于网格模型与K-Means算法的交通状态识别方法能够实现对交通状态的快速判别与聚类,可实现对不同城市交通状态的识别。     

基于贝叶斯网络的交通事件持续时间预测

随着数据采集手段的不断提高和相关研究技术的发展,基于数据挖掘的模型逐渐成为交通事件持续时间研究的主要方向。根据荷兰交通部门提供的交通事件采集数据,进行分类和预处理,观察事件持续时间的频数图,并根据相关的研究按照事件典型的类别把采集的数据进行分类。使用主成分分析和逐步回归提取出显著性的影响因子,利用数据挖掘软件WEKA建立贝叶斯网络模型,用数据集中80%的数据进行学习建模,20%的数据作为测试集来检测模型的预测效果,并做出性能评价。实验结果表明,与同类数据集的其他预测方法相比,贝叶斯网络模型对于变数众多,随机性特别大的交通事件,预测精度较高,证明贝叶斯网络模型的算法是具有一定优越性和实用价值。     

大数据驱动的公共交通系统出行方式选择特性研究

掌握出行者选择偏好对于提高公共交通系统吸引力和优化运营策略有重要作用,且数据检测技术的发展使得交通大数据的收集更加便捷.本文以北京市出行大数据为依托,通过分析与建模,挖掘人们在公共交通中的方式选择特性,并探讨如何为交通运营提供决策支持.首先,对原始数据进行预处理、数据清洗与数据集成,获得了模型所需的数据集.然后根据效用函数理论,建立了分层多项Logit模型,并对模型进行求解与验证.最后,基于模型结果得出不同出行群体VOT,进行部分变量的敏感性分析.得出中距离出行者票价敏感性最高,短途出行者速度敏感性最高,6:00-7:00的出行群体票价敏感性最高且速度敏感性最低等结论,可用于支持公共交通运营部门制定最佳运营策略.     

基于多源数据融合的干线公交车辆 行程时间预测

为提高城市中心区干线公交车辆行程时间的预测精度,在拟合公交车辆行程时间分布特征的基础上,提出基于多源数据的干线公交行程时间预测模型.对RFID及GPS检测器获取的实际数据进行预处理及分布拟合,其中混合高斯分布函数适用于单路段拟合,对数正态分布适用于多路段的拟合.采用皮尔逊相关性系数对影响行程时间的因素进行相关性分析,其中上游路段前2 个时间窗的平均行程时间的影响最大.分别采用ARIMA、改进的SVM模型对行程时间进行预测,其中改进的SVM模型的平均绝对百分比误差为6.26%,优于ARIMA模型的11.69%,更适用于短距离交叉口间的公交车辆行程时间预测.     

基于Frame页面过滤的Web日志挖掘中的数据预处理方法

提出了基于Frame页面过滤的Web日志预处理方法,将数据挖掘技术应用到Web服务器的日志中,从而发现Web用户的行为模式,数据预处理为日志挖掘提供理想的数据,实验证明了该方法有效地解决了数据预处理中的一些问题.