Extraer imágenes de sitios web con C#

Para extraer imágenes de un sitio web en C#, cargue la página con HTMLDocument, recopile elementos <img> o <link> de iconos, lea los atributos src o href, resuelva rutas relativas con BaseURI, envíe solicitudes mediante Context.Network y guarde las respuestas correctas como archivos de imagen locales.

Desarrolladores web, diseñadores, investigadores, periodistas y estudiantes a menudo necesitan recopilar imágenes de páginas web para análisis, archivado, migración o investigación personal. Descargar imágenes manualmente lleva tiempo porque cada URL debe encontrarse, resolverse, solicitarse y guardarse. Aspose.HTML for .NET ayuda a automatizar este flujo y a extraer imágenes de un sitio web mediante programación.

Extraer imágenes de un sitio web en C#

La mayoría de las imágenes de un documento HTML se representan con el elemento <img>. Este ejemplo muestra cómo usar Aspose.HTML for .NET para encontrar imágenes especificadas por ese elemento. Para descargar imágenes de un sitio web en C#:

  1. Use el constructor HTMLDocument(Url) para crear una instancia de la clase HTMLDocument y pásele la URL del sitio web del que desea buscar imágenes.
  2. Use el método GetElementsByTagName(“img”) para recopilar todos los elementos <img>. El método devuelve una lista de elementos <img> del documento HTML.
  3. Use el método Select() para crear una colección distinta de URL de imágenes relativas y el método GetAttribute(“src”) para extraer el atributo src de cada elemento <img>.
  4. Cree URL absolutas de imágenes usando la clase Url y la propiedad BaseURI de la clase HTMLDocument.
  5. Para cada URL absoluta, cree una solicitud con el constructor RequestMessage(url).
  6. Use el método Context.Network.Send(request) del documento para enviar la solicitud. La respuesta se comprueba para confirmar que fue correcta.
  7. Finalmente, si la respuesta fue correcta, use el método File.WriteAllBytes() para guardar cada imagen en un archivo local.
 1// Extract images from website using C#
 2
 3// Load a webpage that contains <img> elements
 4using HTMLDocument document = new HTMLDocument("https://docs.aspose.com/html/net/tutorial/html-colors/");
 5
 6// Collect all <img> elements
 7HTMLCollection images = document.GetElementsByTagName("img");
 8
 9// Extract distinct src values and skip empty and data URI sources
10IEnumerable<string> sources = images
11    .Select(image => image.GetAttribute("src"))
12    .Where(src => !string.IsNullOrWhiteSpace(src) &&
13        !src.StartsWith("data:", StringComparison.OrdinalIgnoreCase))
14    .Distinct();
15
16foreach (string src in sources)
17{
18    // Resolve the image URL against the document base URI
19    Url imageUrl = new Url(src, document.BaseURI);
20
21    using RequestMessage request = new RequestMessage(imageUrl);
22    using ResponseMessage response = document.Context.Network.Send(request);
23
24    if (!response.IsSuccess)
25        continue;
26
27    string fileName = Path.GetFileName(imageUrl.Pathname);
28
29    if (string.IsNullOrWhiteSpace(fileName))
30        continue;
31
32    File.WriteAllBytes(Path.Combine(OutputDir, fileName), response.Content.ReadAsByteArray());
33}

Nota: Es importante cumplir las leyes de derechos de autor y obtener permisos o licencias adecuados antes de usar imágenes guardadas con fines comerciales. No apoyamos la extracción de datos ni el uso comercial de archivos de terceros sin su permiso.

Extraer iconos de un sitio web en C#

Los iconos son un tipo de imagen en documentos HTML que se especifica mediante elementos <link> con el atributo rel establecido en icon. Veamos cómo extraer iconos de un sitio web con la biblioteca Aspose.HTML for .NET:

  1. Use el constructor HTMLDocument(Url) para crear una instancia de la clase HTMLDocument y pásele la URL del sitio web del que desea extraer iconos.
  2. Use el método GetElementsByTagName(“link”) para recopilar todos los elementos <link>.
  3. Para filtrar imágenes que no son iconos, use el método Where(), que filtra la colección según la expresión link => link.GetAttribute("rel") == "icon". Así, la colección icons contendrá solo links con un atributo rel cuyo valor es icon.
  4. Use el método Select() para crear una colección distinta de URL relativas de iconos y el método GetAttribute(“href”) para extraer el atributo href de cada elemento <link>.
  5. Cree URL absolutas de iconos usando la clase Url y la propiedad BaseURI de la clase HTMLDocument.
  6. Luego, para cada URL absoluta, cree una solicitud usando la clase RequestMessage.
  7. Use el método Context.Network.Send(request) del documento para enviar la solicitud. La respuesta se comprueba para confirmar que fue correcta.
  8. Si la respuesta fue correcta, use el método File.WriteAllBytes() para guardar los iconos en un archivo local. Como resultado, tendrá una colección de iconos del sitio web en su carpeta local.
 1// Download icons from website using C#
 2
 3using HTMLDocument document = new HTMLDocument("https://docs.aspose.com/html/net/message-handlers/");
 4
 5// Collect all <link> elements
 6HTMLCollection links = document.GetElementsByTagName("link");
 7
 8string[] iconTypes =
 9{
10    "icon",
11    "apple-touch-icon",
12    "apple-touch-icon-precomposed",
13    "mask-icon"
14};
15
16// Select links whose rel attribute contains an icon-related token
17IEnumerable<Element> icons = links.Where(link =>
18    link.GetAttribute("rel")
19        .Split()
20        .Any(token => iconTypes.Contains(
21            token,
22            StringComparer.OrdinalIgnoreCase)));
23
24// Extract distinct href values and skip empty and data URI sources
25IEnumerable<string> sources = icons
26    .Select(icon => icon.GetAttribute("href"))
27    .Where(href => !string.IsNullOrWhiteSpace(href) &&
28        !href.StartsWith("data:", StringComparison.OrdinalIgnoreCase))
29    .Distinct();
30
31foreach (string src in sources)
32{
33    // Resolve the icon URL against the document base URI
34    Url iconUrl = new Url(src, document.BaseURI);
35
36    using RequestMessage request = new RequestMessage(iconUrl);
37    using ResponseMessage response = document.Context.Network.Send(request);
38
39    if (!response.IsSuccess)
40        continue;
41
42    string fileName = Path.GetFileName(iconUrl.Pathname);
43
44    if (string.IsNullOrWhiteSpace(fileName))
45        continue;
46
47    File.WriteAllBytes(Path.Combine(OutputDir, fileName), response.Content.ReadAsByteArray());
48}

Puede usar estos ejemplos de C# para automatizar la extracción de imágenes de un sitio web para archivado, investigación, análisis de contenido web u otros flujos de uso personal. Para diseñadores y desarrolladores, el mismo flujo ayuda a recopilar recursos de una página sin revisar manualmente el marcado fuente.

Errores comunes y soluciones

ProblemaCausaSolución
Las imágenes no se descarganEl atributo src contiene un data URI o una cadena vacíaOmita data URIs (src.StartsWith("data:")) y filtre valores vacíos antes de descargar
Las URL relativas se resuelven malFalta BaseURI o la página usa una etiqueta <base>Use document.BaseURI o lea el elemento <base> y combínelo con la ruta relativa
Errores HTTP (404/403) detienen el scriptNo hay manejo de errores alrededor de Network.SendCompruebe response.IsSuccess y continúe el bucle si falla
Los archivos se sobrescribenNombres de archivo duplicados procedentes de distintas URLGenere nombres únicos, por ejemplo, con un contador o un hash de la URL
Faltan iconosrel puede contener varios valores, como "shortcut icon", por lo que == "icon" fallaDivida rel por espacios y compruebe si contiene "icon". También puede coincidir con "shortcut" o "apple-touch-icon" si es necesario

FAQ

¿Qué elementos HTML se usan para extraer imágenes?

Las imágenes estándar suelen encontrarse en elementos <img> mediante el atributo src. Los iconos de sitios web suelen encontrarse en elementos <link> mediante el atributo href cuando rel contiene valores relacionados con iconos.

¿Por qué necesito BaseURI al extraer imágenes?

Muchas páginas usan URL de imagen relativas. BaseURI ayuda a resolver esas rutas relativas contra la URL del documento cargado antes de enviar solicitudes de descarga.

¿Este ejemplo puede descargar imágenes data URI?

Las imágenes data URI están incrustadas directamente en HTML y deben gestionarse por separado de las URL HTTP o HTTPS. Fíltrelas antes de enviar solicitudes de red.

¿Cómo evito sobrescribir archivos?

Genere nombres de archivo locales únicos, por ejemplo, añadiendo un contador, usando un hash de URL o conservando parte de la ruta de origen al guardar las imágenes.

Otras plataformas

Artículos relacionados sobre extracción de datos

Los ejemplos completos de C# y los archivos de datos están disponibles en el repositorio GitHub de Aspose.HTML for .NET.