通过pre-trained基于HanLP的中文分词模型，对我们原始数据集进一步分词处理，由于情报库中网站大部分为中文和英文，选用合适的联合模型处理，进一步优化数据集。

使用分词模型，提取了其中的中文词语，进一步根据词性，去除了其中的介词、连词、助词、虚词等.

本地情报库中共有300多万条黑产告警域名，目前爬取了11万条，提取出4.7万条有效域名（无法访问、公安提醒诈骗、返回错误、无标题及超链接等的域名判定为无效），以及对应的标题、超链接名等信息存入了csv文件，共110M大小，作为搭建测试模型的初步语料库。

在爬取了数据后，由于原始数据中含有大量的非法字符及无效符号等信息（有些网站title与超链接均为图片，则提取出的是乱码）如’抱歉，站点已暂停‘ ’���‘’404 Not Found‘等，需要对其中的这些数据进行清洗。

有些网站超链接中含有大量\t，\n等符号，需要进一步去除噪声。

最终得到42629条数据。

需求：现有的情报库来源均为第三方接口，需要通过这些原始数据，基于深度学习网络，构建能够实现自动检测的恶意网址识别模型。首先需要通过爬虫，挖掘三百多万条恶意网址的信息，并进行标签化，从而构建原始的数据集。

由于单线程爬取速度慢，因此进行了改进，实现多线程爬取数据。

需求：现有的情报库来源均为第三方接口，需要通过这些原始数据，基于深度学习网络，构建能够实现自动检测的恶意网址识别模型。首先需要通过爬虫，挖掘三百多万条恶意网址的信息，并进行标签化，从而构建原始的数据集。

更新记录一下实习产出~