基于Simhash的应用模板识别Perl_信息安全自留地_百度空间

|文章出处：http://hi.baidu.com/_wang8

基于Simhash的应用模板识别Perl demo

对于同一应用模板生成不同的url，url可能的pathdir、filename、arguments的一项或者几项可能不同。同时
web页面的展示一眼看过去也差别较大。在url聚类的需求场合，需要能自动识别web/url的相似度。

这里是利用simhash算法，通过对web页面的一些token的value进行统计分析。来综合判断两条url间的是
否为同一应用模板生成，也为web相似度。理论上，由同一模板生成的页面在token的数量、顺序、值上会存
在一定的规律

#!/usr/bin/perl

#Compare the similarity of two pages

#http://hi.baidu.com/_wang8

#2011.04.23

#use warnings;

#use strict;

use HTML::TokeParser;

use LWP::Simple;

#use Data::Dumper;

use URI;

use URI::Split qw(uri_split uri_join);

sub GetUrl

{

my $url = shift;

if($url !~ /^http/)

{

print "warning:error format url.\n";

next;

}

my $content = LWP::Simple::get($url) or die "cannot request the url:$url\n";

utf8::decode($content);

return $content;

}

sub GetToken

{

my $content = shift;