ウェブ情報収集の仕組みを構築

このチュートリアルでは、環境設定、ローカルウェブサイトの生成、静的クローリング、動的クローリング、構造化抽出、および下流のデータ処理をカバーする、完全なCrawlee-for-Pythonワークフローを構築します。まず、Pydanticサポート、Playwrightブラウザのインストール、永続ストレージディレクトリ、Colab対応の実行処理を備えた互換性のあるCrawleeランタイムを設定します。次に、製品ページ、ドキュメントページ、ブログコンテンツ、内部リンク、robots.txtルール、JSON-LDメタデータ、JavaScriptでレンダリングされたカタログアイテムを含む、現実的なローカルデモウェブサイトを生成します。BeautifulSoupCrawlerを使用して、高速な再帰的HTMLクローリングを実行し、ページタイトル、メタデータ、テキストプレビュー、外部リンク、製品属性、ドキュメントの見出し、コードブロック、ブログタグを抽出します。ParselCrawlerを使用して、製品詳細ページで正確なCSSおよびXPathベースの抽出を実行します。PlaywrightCrawlerを使用して、ヘッドレスChromiumブラウザでJavaScriptコンテンツをレンダリングし、動的なDOM要素が表示されるのを待ち、クライアントサイドデータを抽出し、ページ全体のスクリーンショットをキャプチャします。Crawlee Pythonランタイムとヘルパーのセットアップ コードをコピー コピー済み 別のブラウザを使用 import os import sys import re import csv import json import time import math import shutil import socket import hashlib import asyncio import textwrap import subprocess import threading from pathlib import Path from functools import partial from http.server import ThreadingHTTPServer, SimpleHTTPRequestHandler from importlib.metadata import version, PackageNotFoundError SETUP_SENTINEL = "/content/.crawlee_python_tutorial_setup_done_v2" def sh(command, check=True, quiet=False): print(f"\n$ {command}") result = subprocess.run( command, shell=True, text=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, ) if not quiet and result.stdout: print(result.stdout[-5000:]) if check and result.returncode != 0: raise RuntimeError(f"Command failed with exit code {result.returncode}: {command}") return result.returncode == 0 def p