#!/usr/bin/env python3
# scraper.py

import requests
from bs4 import BeautifulSoup
import datetime
import logging

# ログ設定
logging.basicConfig(
    filename="/var/log/scraper.log",
    level=logging.INFO,
    format="%(asctime)s %(levelname)s %(message)s"
)

TARGET_URL = "https://example.com/products"

def scrape():
    try:
        res = requests.get(TARGET_URL, timeout=10,
                           headers={"User-Agent": "Mozilla/5.0"})
        res.raise_for_status()
        soup = BeautifulSoup(res.text, "html.parser")

        items = soup.select(".product-item")
        for item in items:
            name = item.select_one(".name").text.strip()
            price = item.select_one(".price").text.strip()
            logging.info(f"商品名: {name} | 価格: {price}")

        print(f"[{datetime.datetime.now()}] {len(items)}件取得完了")

    except Exception as e:
        logging.error(f"エラー: {e}")
        raise

if __name__ == "__main__":
    scrape()

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By

def scrape_dynamic():
    options = Options()
    options.add_argument("--headless")       # 画面なしで実行
    options.add_argument("--no-sandbox")
    options.add_argument("--disable-dev-shm-usage")

    driver = webdriver.Chrome(options=options)
    driver.get("https://example.com/")

    price = driver.find_element(By.CSS_SELECTOR, ".price").text
    print(f"価格: {price}")
    driver.quit()

# 1. パッケージ更新
sudo apt update && sudo apt upgrade -y

# 2. Python & pip インストール確認
python3 --version  # 3.10以上推奨
pip3 --version

# 3. 仮想環境を作成（プロジェクトごとに分ける）
python3 -m venv ~/scraper-env
source ~/scraper-env/bin/activate

# 4. 必要ライブラリをインストール
pip install requests beautifulsoup4 selenium

# 5. Selenium用ChromeDriverインストール
sudo apt install -y chromium-browser chromium-chromedriver

# crontabを編集（初回はエディタ選択を求められる。1でnano推奨）
crontab -e

# 以下を追記（仮想環境のPythonパスを使う点が重要）
# 毎朝8時にスクレイパーを実行
0 8 * * * /home/user/scraper-env/bin/python /home/user/scraper.py >> /var/log/scraper.log 2>&1

# 設定確認
crontab -l

# リアルタイムでログを見る
tail -f /var/log/scraper.log

# 最後の20行だけ表示
tail -20 /var/log/scraper.log

# 古いログを自動削除（logrotate設定）
sudo nano /etc/logrotate.d/scraper

import smtplib
from email.mime.text import MIMEText

def send_error_mail(error_message: str):
    msg = MIMEText(f"スクレイパーでエラーが発生しました:\n\n{error_message}")
    msg["Subject"] = "[ERROR] スクレイパー異常停止"
    msg["From"] = "your@gmail.com"
    msg["To"] = "your@gmail.com"

    with smtplib.SMTP_SSL("smtp.gmail.com", 465) as smtp:
        smtp.login("your@gmail.com", "your-app-password")
        smtp.send_message(msg)