智能web过滤系统的研究与设计
Research and Design of Intelligent Web Filtering System
【中文摘要】 当今的互联网已经成为人类生活和社会发展不可或缺的一部分。但其开放性,使一些色情的、暴力的、迷信等不良信息得以传播,侵害人们的身心健康、危害社会的稳定。如何过滤web不良信息,构建健康、安全的资讯环境,保持互联网的发展,已成为互联网领域的研究热点。本文首先研究了数据库过滤(IP库、URL库)、关键词过滤、内容过滤等常见的web过滤技术,从过滤的速度、灵活性、技术难度、防欺骗性、互联网覆盖等方面对各种技术做了对比分析。随后,提出将人工神经网络应用到web过滤系统中,引入智能化概念。为了进一步优化人工神经网络,提出了基于复合适应度的单纯微粒群神经网络训练优化算法模型(CF-SPSO-ANN)。该模型用单纯微粒群算法(SPSO)改进了神经网络的学习算法,提高了网络的达优率和收敛速度;用复合适应度(CF)改进神经网络学习规则,提升了网络的泛化能力。经IRIS数据集实验表明:CF-SPSO-ANN算法比采用单纯形PSO算法优化以均方误差为性能指标的神经网络(SPSO-ANN)、PSO训练复合适应度网络(CF-PSO-ANN)具有更好的预测准确度和噪声承受力。之后,本文提出了综合运用各种web过滤技术,设计分层、分级、分策略的web过滤模型的思想,形成以数据库过滤(IP库、URL库)为主的初级过滤、以关键字和内容过滤为主的二级过滤的多级过滤体系,极大的发挥各种过滤技术自身的特点。最后,将以上智能化思想和分级思想相结合,设计实现了一个基于ANN优化算法的多级智能WEB过滤系统(multilevel smart web filter system based on ANNoptimization model,简称AOM-ML-SWFS)。其中的非法文档过滤器模块采用CF-SPSO-ANN算法。为了提高系统的智能性,本模型对日志记录和过滤结果进行处理,重新组织了训练库并进行学习。形成学习—调整—再学习—再调整的运行机制。实验表明,本系统具有良好的可重用性、可扩展性、可适应性,在web过滤速度和精度等方面取得了较好的结果。本系统可作为中间服务器过滤系统,架设在网络信息提供者和用户之间专用的中间服务器上,通过网关或代理监控用户的信息访问过程,以屏蔽不良信息对用户的侵扰。 

【英文摘要】 Nowadays,Internet has become the part of human society survival and development.However,the opening leads some information such as eroticism、violence、evil religion etc is harmful not only to our heart but also to my country.As a result,how to filer the bad information and build up the health,safety information environment has become a research focus of the internet development in the future.Firstly,analyse traditional web technologies such as database filter(IP、URL)、key words filter、content filter etc,and make a comparative analysis from filter speed and flexibility,the technical difficulties,deceptive,coverage scale in InternetThen,put forward neural network to the web filter system.In order to further optimize the ANN,proposed ANN training based on compound fitness simplex particle swarm optimization(CF-SPSO-ANN).The model use particle swarm optimization(SPSO) improved ANN learning algorithm,in order to improve optimal rate and the convergence speed of the network;The model use composite fitness(CF) improving ANN learning rule,in order to improve the network generalization ability.Experiments of IRIS data sets showed that CF-SPSO-ANN is better than CF-SPSO-ANN and CF-PSO-ANN in prediction accuracy and antinoise ability.Later,proposed method that by synthetically use of various above technologies to design a multi-layer web filter model:first layer is database filter(IP、URL),and second layer is key words filter、content filter.Finally,combined the thoughts of multilevel and intelligent,proposed an optimization model based on ANN multi-level smart web filtering model(AOM-ML-SWFS).Apply CF-SPSO-ANN to the illegal document filter modules.In order tO improve the system of intelligent,this model to log and filtration, reorganized training and learning library,formed learn- adjust-learn...Experiments show that this system has better reusability and expansibility, adaptability,in web filtering speed and precision,etc.This system can be mounted on a network information providers and users in the middle of the dedicated server,through the gateway or proxy monitor users and shield bad information. 

【中文关键词】 信息过滤; URL过滤; 关键词过滤; 人工神经网络; 遗传算法; 微粒群算法; 单纯型微粒群; 复合适应度
【英文关键词】 information filtering; web filtering model; key word filter; PSO; GA SPSO; FC
【毕业论文目录】
摘要 5-7
ABSTRACT 7
第一章 绪论 11-16
    1.1 课题的背景和意义 11-14
    1.2 课题的主要工作和成果 14-15
    1.3 文章组织和结构 15-16
第二章 WEB过滤技术研究 16-29
    2.1 WEB过滤基本原理 16
    2.2 WEB过滤技术介绍 16-19
    2.3 WEB过滤研究现状分析 19-22
    2.4 传统基于内容的WEB过滤模型 22-29
        2.4.1 文本预处理 23
        2.4.2 文本表示模型 23-25
        2.4.3 特征提取 25-26
        2.4.4 文本分类型 26-27
        2.4.5 传统WEB过滤模型的不足 27-29
第三章 人工神经网络优化模型 29-42
    3.1 ANN概述 29-32
        3.1.1 ANN的定义 29-30
        3.1.2 ANN的分类 30
        3.1.3 ANN的历史 30-31
        3.1.4 ANN的特点 31-32
    3.2 ANN在WEB过滤技术中的应用 32-33
    3.3 基于微粒群的ANN(POS-ANN) 33-36
        3.3.1 微粒群算法原理 33-34
        3.3.2 POS-ANN算法流程 34-36
        3.3.3 POS-ANN算法分析 36
    3.4 PSO-ANN优化算法(CF-SPSO-ANN) 36-42
        3.4.1 单纯形微粒群算法对复合适应度神经网络的训练 36-38
        3.4.2 单纯形微粒群算法优化复合适应度指标的神经网络 38-39
        3.4.3 CF—SPSO-ANN数据挖掘实验 39-42
第四章 基于ANN优化算法的多级智能WEB过滤模型 42-58
    4.1 AOM-ML-SWFS总体模型 42-43
    4.2 AOM-ML-SWFS的多级策略 43-45
    4.3 AOM-ML-SWFS的智能化 45-58
        4.3.1 样本的组织 48
        4.3.2 分词的实施 48-50
        4.3.3 特征提取织 50-54
        4.3.4 非法文档模板的构建 54-55
        4.3.5 CF-SPSO-ANN在WEB过滤中的应用 55-58
第五章 AOM-ML-IWFS系统设计 58-63
    5.1 系统架构 58-59
    5.2 系统模块设计 59-63
        5.2.1 主要系统模块 59-61
        5.2.2 系统流程 61-63
第六章 过滤实验 63-68
    6.1 试验平台设计 63-65
    6.2 过滤过程 65-67
    6.3 过滤效果 67-68
第七章 结论与展望 68-71
    7.1 结论 68-69
    7.2 展望 69-71
攻读硕士学位期间发表的学术论文 71-72
致谢 72-73
附录1 73-80
参考文献 80-81