Exploiting empirical variance for data stream classification

Classification, using the decision tree algorithm, is a widely studied problem in data streams. The challenge is when to split a decision node into multiple leaves. Concentration inequalities, that exploit variance information such as Bernstein’s and Bennett’s inequalities, are often substantially strict as compared with Hoeffding’s bound which disregards variance. Many machine learning algorithms for stream classification such as very fast decision tree (VFDT) learner, AdaBoost and support vector machines (SVMs), use the Hoeffding’s bound as a performance guarantee. In this paper, we propose a new algorithm based on the recently proposed empirical Bernstein’s bound to achieve a better probabilistic bound on the accuracy of the decision tree. Experimental results on four synthetic and two real world data sets demonstrate the performance gain of our proposed technique.     

Improved Kernel Possibilistic Fuzzy Clustering Algorithm Based on Invasive Weed Optimization

Fuzzy c-means(FCM) clustering algorithm is sensitive to noise points and outlier data, and the possibilistic fuzzy c-means(PFCM) clustering algorithm overcomes the problem well, but PFCM clustering algorithm has some problems: it is still sensitive to initial clustering centers and the clustering results are not good when the tested datasets with noise are very unequal. An improved kernel possibilistic fuzzy c-means algorithm based on invasive weed optimization(IWO-KPFCM) is proposed in this paper. This algorithm first uses invasive weed optimization(IWO) algorithm to seek the optimal solution as the initial clustering centers, and introduces kernel method to make the input data from the sample space map into the high-dimensional feature space. Then, the sample variance is introduced in the objection function to measure the compact degree of data. Finally, the improved algorithm is used to cluster data. The simulation results of the University of California-Irvine(UCI) data sets and artificial data sets show that the proposed algorithm has stronger ability to resist noise, higher cluster accuracy and faster convergence speed than the PFCM algorithm.     

Discretization Algorithm Based on Particle Swarm Optimization and Its Application in Attributes Reduction for Fault Data

In order to increase the fault diagnosis efficiency and make the fault data mining be realized, the decision table containing numerical attributes must be discretized for further calculations. The discernibility matrix-based reduction method depends on whether the numerical attributes can be properly discretized or not. So a discretization algorithm based on particle swarm optimization (PSO) is proposed. Moreover, hybrid weights are adopted in the process of particles evolution. Comparative calculations for certain equipment are completed to demonstrate the effectiveness of the proposed algorithm. The results indicate that the proposed algorithm has better performance than other popular algorithms such as class-attribute interdependence maximization (CAIM) discretization method and entropy-based discretization method.     

基于时空相似度聚类的热点载客路径挖掘

出租车的载客轨迹直接体现了车辆的行驶状态和居民的出行规律,热点载客路径的挖掘为交通管理与规划,居民行为模式发现及出租车载客推荐等具有重要价值. 本文以兰州市3 000 辆出租车载客轨迹为研究对象,提出了基于时空相似性聚类的热点载客路径挖掘算法. 首先,根据出租车的GPS轨迹数据提取出载客轨迹及其核心轨迹;然后,根据提出的相似性度量算法计算核心轨迹的空间相似性、时间相似性及时空相似性,并结合DBSCAN聚类算法对载客轨迹进行聚类;最后,根据聚类结果获取城市热点载客路径的空间分布,并分析了其在工作日和非工作日的差异. 实验结果表明,本文提出的挖掘算法能有效、快速地发现城市热点载客路径的分布.     

基于时空相似度聚类的热点载客路径挖掘

出租车的载客轨迹直接体现了车辆的行驶状态和居民的出行规律,热点载客路径的挖掘为交通管理与规划,居民行为模式发现及出租车载客推荐等具有重要价值. 本文以兰州市3 000 辆出租车载客轨迹为研究对象,提出了基于时空相似性聚类的热点载客路径挖掘算法. 首先,根据出租车的GPS轨迹数据提取出载客轨迹及其核心轨迹;然后,根据提出的相似性度量算法计算核心轨迹的空间相似性、时间相似性及时空相似性,并结合DBSCAN聚类算法对载客轨迹进行聚类;最后,根据聚类结果获取城市热点载客路径的空间分布,并分析了其在工作日和非工作日的差异. 实验结果表明,本文提出的挖掘算法能有效、快速地发现城市热点载客路径的分布.     

A probability approach to anomaly detection with twin support vector machines

AbstractClassification of intrusion attacks and normal network flow is a critical and challenging issue in network security study. Many intelligent intrusion detection models are proposed, but their performances and efficiencies are not satisfied to real computer networks. This paper presents a novel effective intrusion detection system based on statistic reference model and twin support vector machines (TWSVMs). Moreover, a network flow feature selection procedure has been studied and implemented with TWSVMs. The performances of proposed system are evaluated through using the fifth international conference on knowledge discovery and data mining in 1999 (KDD’99) data set collected at MIT’s Lincoln Labs and the results indicate that the proposed system is more efficient and effective than conventional support vector machines (SVMs) and TWSVMs.     

基于改进K均值聚类POS算法的应急物资分类研究

为了提高突发事件应急救援的效率,应急物资分类的科学性是应急物资调拨与配送的关键环节之一.通过分析既有应急物资分类以及聚类算法存在的问题,提出了基于改进K均值聚类的应急物资分类方法,构建了基于K均值的粒子群优化算法设计.最后,选取了206种最为常用的应急物资为例,采用Matlab软件平台分析计算.结果表明:基于改进K均值聚类POS算法全局寻优能力明显要强于其他聚类算法.为应急决策者提供一定的理论依据.     

Research of Improved Fuzzy c-means Algorithm Based on a New Metric Norm

For the question that fuzzy c-means(FCM)clustering algorithm has the disadvantages of being too sensitive to the initial cluster centers and easily trapped in local optima,this paper introduces a new metric norm in FCM and particle swarm optimization(PSO)clustering algorithm,and proposes a parallel optimization algorithm using an improved fuzzy c-means method combined with particle swarm optimization(AF-APSO).The experiment shows that the AF-APSO can avoid local optima,and get the best fitness and clustering performance significantly.     

考虑对地航速和航向的船舶典型轨迹提取方法

基于船舶自动识别系统(Automatic Identification System, AIS)数据的船舶典型轨迹挖掘需要经过两个重要步骤，一是压缩 AIS 数据，二是聚类压缩后的 AIS 数据。传统的DP(DouglasPeucker)压缩算法，只考虑船舶轨迹的压缩形状，忽视了船舶航行中其他重要信息。为解决此问题，把对地航速和航向加入到DP算法的压缩过程中。在AIS轨迹聚类方面，传统谱聚类方法只对船舶轨迹的位置进行相似性度量，没有考虑船舶轨迹的其他维度，针对此问题，提出多属性轨迹相似性度量方法。由于不同的输入参数影响着最终的聚类质量，引入Calinski-Harabasz指标评价谱聚类算法，实现聚类参数的自适应选择。利用山东威海水域的实际AIS数据进行实例研究，并与传统谱聚类算法做比较实验。实验结果表明，利用该方法提取到的典型轨迹符合真实水域的交通情况，相较于传统谱聚类方法具有更高的聚类质量。     

基于粒子群优化SVM的高速公路交通事件检测

为了更加准确地检测出高速公路上的偶发性交通事件,采用一种粒子群优化SVM参数的高速公路交通事件检测算法,提升事件检测效果。文中运用高速公路实测数据集（L880）,对支持向量机算法进行分类性能测试,并且采用改进的粒子群优化算法对支持向量机的参数进行优化,进而利用测试集数据对该模型进行验证比较,获得满意的检测效果。     

基于改进密度聚类算法的交通事故地点聚类研究

交通事故特征受地域分布影响显著，本文对交通事故特征进行优化聚类研究.基于 2019年无锡市交通事故数据，调用开放地图接口地理编码解算事故地点经纬度，使用密度聚类算法对事故地点与事故原因进行密度聚类.传统的密度聚类算法依赖距离阈值和样本数阈值的准确输入，为解决这一局限，建立一种自适应搜索距离阈值和样本数阈值的密度聚类模型，并与原始聚类模型进行对比.结果表明，优化算法在参数确定上更加智能，对簇的划分更加准确，对噪声点的识别更加合理.通过机器学习中轮廓系数计算方法计算模型得分，证明了该算法在城市道路交通事故地理位置聚类中的适用性.     

基于改进密度聚类算法的交通事故地点聚类研究

交通事故特征受地域分布影响显著，本文对交通事故特征进行优化聚类研究.基于 2019年无锡市交通事故数据，调用开放地图接口地理编码解算事故地点经纬度，使用密度聚类算法对事故地点与事故原因进行密度聚类.传统的密度聚类算法依赖距离阈值和样本数阈值的准确输入，为解决这一局限，建立一种自适应搜索距离阈值和样本数阈值的密度聚类模型，并与原始聚类模型进行对比.结果表明，优化算法在参数确定上更加智能，对簇的划分更加准确，对噪声点的识别更加合理.通过机器学习中轮廓系数计算方法计算模型得分，证明了该算法在城市道路交通事故地理位置聚类中的适用性.     

基于模糊支持向量机的变压器故障诊断

针对支持向量机对训练样本内的噪声和孤立点比较敏感,影响了支持向量机分类性能的弱点,利用模糊支持向量机的学习方法,构建了变压器故障诊断模型．采取一种基于二叉树的多分类方法,使用模糊C均值聚类算法求取模糊支持向量机的模糊隶属度,采用径向基核函数,并利用遗传算法对模糊支持向量机的参数进行寻优．实验结果表明,基于二叉数的模糊支持向量机模型相比BP神经网络、支持向量机有更高的诊断准确率,基于二叉树模糊支持向量机的变压器故障诊断方法是可行的．     

基于时空自相关的道路交通状态聚类方法

城市道路交通状态的识别对交通管理部门进行交通管理控制、出行诱导,以及 道路设施改造具有重要意义.本文运用时空Moran 散点图探索城市道路交通的时空关联 性,并据此构建一种基于时空自相关预分类的道路交通状态层次聚类方法.运用本文所提 出的聚类算法,以北京市二环快速路外环方向的路段为例,进行聚类研究,并分析了各类 型路段的交通状态时空特性.案例研究表明,所提出聚类算法能对道路交通状态进行有效 判断,充分反映交通需求与路网结构之间的内在匹配关系.特别是畅通异质和拥堵异质两 种交通状态的提出,为识别高峰时段路网中的瓶颈路段和能力富余路段提供了一种新的 思路和方法,进而可为完善路网、缓解拥堵及制定交通管理措施提供依据.     

PSO优化的LS-SVM在列车弓网系统的建模研究

提出基于粒子群(PSO)优化最小二乘支持向量机(LS-SVM)的列车弓网系统建模方法。针对LS-SVM的超参数难以选择的问题,提出采用具有全局搜索性能的PSO优化LS-SVM超参数的方法。在建立弓网子系统模型的基础上,得到了弓网系统的整体动力学方程。最后进行弓网系统的仿真实验,结果表明,所提出的PSO优化LS-SVM模型比LS-SVM模型、子空间模型具有更高的预报精度,所提出的方法用于列车弓网系统的建模是有效的。     

基于灰关联测度的分裂式层次聚类算法

为估计数据集的聚类数目及获得较好的聚类性能,提出了一种基于灰关联测度的分裂式层次聚类算法.该算法用灰关联测度衡量数据对象之间的相似程度,以基于密度扩展的方式自顶向下分裂成不同层次的数据集划分;然后,根据灰关联测度定义聚类有效性指标;最后将有效性指标曲线极值点对应的聚类划分用于估计最佳聚类数目.实际数据和合成数据集的实验表明,与FCM聚类相比,该算法的聚类正确率平均提高3.7%,并且能够识别任意形状的簇.     

基于改进极限学习机的公交站点短时客流预测方法

以公交车IC 卡和GPS数据为基础，提出了一种基于改进粒子群算法优化极限学习机(IPSO-ELM)的公交站点短时客流预测模型.依托IC 卡和GPS 数据在站点的特征表现和内在联系，定义了站点间距，并分析了站间距和车辆到总站距离间的联系；提出了公交乘客上车站点确定方法，进而得到公交站点上车客流量；通过分析公交客流数据特征，确定ELM输入参数维度，并采用IPSO 算法找到ELM的最优隐含层节点参数；最后依托广州市19 路公交车客流数据仓库进行了方法验证.结果表明：所用优化后的ELM方法预测误差在10%以内，并与应用广泛的SVM、ARIMA和传统ELM模型进行对比分析，发现改进的ELM方法拥有更高的可靠性和泛化性能.     

RES脉内特征的差分进化粒子群投影寻踪评价模型

针对雷达辐射源信号脉内特征综合评估存在标准单一、缺乏客观性等问题,提出了基于群体智能的雷达辐射源信号脉内特征综合评估模型.首先,通过投影寻踪算法将雷达辐射源信号脉内特征的综合评估问题转化为有条件限制的多元非线性目标函数的优化问题;其次,通过改进的粒子群优化算法与差分进化算法的结合得到新的智能算法;最后,利用该算法实现多元非线性目标函数的优化求解.仿真结果表明:该群体智能算法对Rosenbrock测试函数的最优适应度值最小,对Rastrigrin函数和Girewank测试函数的最优适应度值为0,说明该算法的计算精度优于其他算法.同时适应度值的方差比标准粒子群算法和差分进化算法小,说明该算法的收敛性和鲁棒性较好.通过与加速遗传算法对评估问题目标函数5次优化结果的比较,本算法的计算结果没有波动,说明基于群体智能的RES脉内特征综合评估模型能够更客观、更有效地实现对RES脉内特征的综合评估.      

基于个体最优位置的自适应变异扰动粒子群算法

针对粒子群算法在寻优时容易陷入局部最优的不足,提出了一种基于个体最优位置的自适应变异扰动粒子群算法AMDPSO (adaptive mutation disturbance particle swarm optimization).该算法以粒子群算法为基础,加入扰动,当满足自适应条件时,粒子以个体最优位置为依据进行变异操作.将该算法运用于6个测试函数,并与惯性权重粒子群算法、收缩因子粒子群算法以及差分进化算法进行了比较,结果表明:AMDPSO能在寻优过程中让粒子跳出局部最优,保持种群多样性,具有更好的收敛速度和优化性能.      

基于改进极限学习机的公交站点 短时客流预测方法

以公交车IC 卡和GPS数据为基础，提出了一种基于改进粒子群算法优化极限学习机(IPSO-ELM)的公交站点短时客流预测模型.依托IC 卡和GPS 数据在站点的特征表现和内在联系，定义了站点间距，并分析了站间距和车辆到总站距离间的联系；提出了公交乘客上车站点确定方法，进而得到公交站点上车客流量；通过分析公交客流数据特征，确定ELM输入参数维度，并采用IPSO 算法找到ELM的最优隐含层节点参数；最后依托广州市19 路公交车客流数据仓库进行了方法验证.结果表明：所用优化后的ELM方法预测误差在10%以内，并与应用广泛的SVM、ARIMA和传统ELM模型进行对比分析，发现改进的ELM方法拥有更高的可靠性和泛化性能.