Hace algunos años, antes de la popularización de los servicio web y los RSS, era bastante frecuente la tarea de buscar información dentro de una pagina web, recorriendo su código html. Esta tecnica se denomina Screen Scrapping, consiste en descargarse una pagina web, parsear el código Html y sacar la información necesaria.
Este trabajo podia convertirse en una tarea complicada. El principal recurso que disponiamos para parsear el código Html eran las expresiones regulares, con ellas se consiguen unos buenos resultados pero tienen el inconveniente de ser muy complejas de construir.
HtmlAgilityPack, una gran ayuda!
Se
trata de una libreria desarrollada en .Net que nos permite bajarnos código html a nuestra memoria, recorrerlo, extraer información y hasta modificarlo. La liberia nos permite ejecutar consultas
XPath (Estándar de la W3C que permite realizar consultas los documentos Xml, teniendo en cuenta su estructrura jerarquica) ademas de soportar el tratamiento de páginas mal formadas, algo que es bastante habitual en la red.
Bueno y ahora vamos a lo que nos interesa, vamos a ver algo de lo que podemos hacer con este nuevo juguete.
Lo primero que tenemos que hacer es descargar la libreria, la podemos encontrar en
Codeplex, despues añadimos una referencia en nuestro proyecto a
HtmlAgilityPack.dll.
En las siguientes lineas de código vamos obtener el titulo de los post de este blog.
static void Main(string[] args)
{
var client = new System.Net.WebClient();
client.Encoding = System.Text.Encoding.UTF8;
var document = new HtmlAgilityPack.HtmlDocument();
document.LoadHtml(client.DownloadString("http://irokhes.blogspot.com/"));
//Obtenemos el titulo de cada uno de los post
foreach (HtmlAgilityPack.HtmlNode node in
document.DocumentNode.SelectNodes("//h3[@class='post-title entry-title']"))
Console.WriteLine(node.InnerText.Trim());
}
En el siguiente ejemplo podemos ver como modificar el código de una página, en este caso se trata de como podriamos reparar los enlaces de una página.
HtmlDocument doc = new HtmlDocument();
doc.Load("file.htm");
foreach(HtmlNode link in doc.DocumentElement.SelectNodes("//a[@href"])
{
HtmlAttribute att = link["href"];
att.Value = FixLink(att);
}
doc.Save("file.htm");
Por último vamos a ver como Usar sentencias de Linq sobre una página web. En este ejemplo vamos a obtener la url de todas las imagenes que aparecen en el blog.
static void Main(string[] args)
{
string url = "http://irokhes.blogspot.com/";
WebClient client = new WebClient();
string html = client.DownloadString(url);
// Load the Html into the agility pack
HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
doc.LoadHtml(html);
List imageNodes = null;
imageNodes = (from HtmlNode node in doc.DocumentNode.SelectNodes("//img")
where node.Name == "img"
select node).ToList();
foreach (HtmlNode node in imageNodes)
{
//Se escribe el atributo src de cada una de las imagenes
Console.WriteLine(node.Attributes["src"].Value);
}
}
//
Creo que con estos ejemplos se puede ver la sencillo que es usar la libreria, basta con conocer alguans sentencias de Xpath para poder acceder a cualquier elemento de una págino. Si a usamos esta libreria en conjunto con alguna herramienta como
Internet explorer developer toolbar o
Firebug podremos examinar la información de cualquier web aunque esta no disponga de una Api especifica para ello.
