[BACK]Return to errata_scraper.pl CVS log [TXT][DIR] Up to [local] / openbsd / errata_scraper

Diff for /openbsd/errata_scraper/errata_scraper.pl between version 1.1 and 1.5

version 1.1, 2011/03/21 17:26:58 version 1.5, 2015/10/12 01:37:53
Line 1 
Line 1 
 #!/usr/bin/perl  #!/usr/bin/perl
 # $AFresh1$  # $AFresh1: errata_scraper.pl,v 1.4 2011/05/29 01:04:30 andrew Exp $
 ########################################################################  ########################################################################
 # Copyright (c) 2011 Andrew Fresh <andrew@afresh1.com>  # Copyright (c) 2011 Andrew Fresh <andrew@afresh1.com>
 #  #
Line 18 
Line 18 
 use strict;  use strict;
 use warnings;  use warnings;
   
 use Mojo::Client;  use Mojo::UserAgent;
 my $client = Mojo::Client->new;  
   my $base_uri = 'http://www.openbsd.org/';
 $client->get(  
     'http://www.openbsd.org/errata48.html' => sub {  my $ua = Mojo::UserAgent->new;
         shift->res->dom('li')->each(  
             sub {  my $ls = $ua->get( $base_uri . 'errata.html' )->res->dom('a[href^="errata"]');
                 my $e = shift;  
   foreach my $l ( @{$ls}[ -2, -1 ] ) {
                 my $patch = $e->at('a[href$=".patch"]')->attrs->{href};      print 'Errata for OpenBSD ', $l->text, "\n";
       foreach my $e (
                 my $title = $e->at('strong')->replace('')->all_text;          reverse @{ $ua->get( $base_uri . $l->attr('href') )->res->dom('li')
                 $title =~ s/\s+/ /gxms;          } )
       {
                 my $arch = $e->at('i')->replace('')->all_text;          my $title;
                 $arch =~ s/\s+/ /gxms;          if (my $t = $e->at('strong')) {
               $title = $t->all_text;
                 # the li ends at p, but the parser expects a /li              $t->replace('');
                 $e->at('p')->replace('');          }
           else {
                 my $descr = $e->all_text;              next;
                 $descr =~ s/\s+/ /gxms;          }
                 $descr =~ s/^\s+|\s+$//gxms;          my $patch;
           if (my $p = $e->at('a[href$=".patch.sig"],a[href$=".patch"]')) {
                 print 'Title: ', $title, "\n";              $patch = $p->attr('href');
                 print 'Arch: ',  $arch,  "\n";              $p->replace('');
                 print 'Patch: ', $patch, "\n";          }
                 print 'Descr: ', $descr, "\n";          my $arch = $e->at('i')->tap(sub { $_[0]->replace('') } )->text;
                 print "\n";          my $descr = $e->all_text;
             }          $descr =~ s/\s+/ /gs;
         );          $descr =~ s/\s(\.(?:\s|$))/$1/gs;
           $descr =~ s/\.+$/./gs;
   
           print 'Title: ', $title, "\n";
           print 'Arch:  ', $arch,  "\n";
           print 'Patch: ', $patch, "\n" if $patch;
           print 'Descr: ', $descr, "\n";
           print "\n";
     }      }
 );  }
   
 $client->start;  
Legend:
Removed from v.1.1  
changed lines
  Added in v.1.5
FreeBSD-CVSweb <freebsd-cvsweb@FreeBSD.org>