# 自分のIPを確認する
curl ifconfig.me

# IPの評判チェック（ブラックリスト登録状況）
# ブラウザで以下のサービスを使って確認する
# - https://www.abuseipdb.com/
# - https://mxtoolbox.com/blacklists.aspx
# - https://check.spamhaus.org/

# メール送信用にIPの評判を確認するコマンド
dig +short YOUR_IP.zen.spamhaus.org
# 何も返ってこなければブラックリスト未登録

import time
import random
import requests
from functools import wraps

def rate_limit(min_wait: float = 1.0, max_wait: float = 3.0):
    """デコレータ形式のレート制限"""
    def decorator(func):
        @wraps(func)
        def wrapper(*args, **kwargs):
            result = func(*args, **kwargs)
            wait_time = random.uniform(min_wait, max_wait)
            time.sleep(wait_time)
            return result
        return wrapper
    return decorator

@rate_limit(min_wait=2.0, max_wait=5.0)
def fetch_page(url: str, session: requests.Session) -> str:
    headers = {
        "User-Agent": random.choice(USER_AGENTS),
        "Accept-Language": "ja-JP,ja;q=0.9,en-US;q=0.8",
        "Referer": "https://www.google.com/",
    }
    response = session.get(url, headers=headers, timeout=10)
    response.raise_for_status()
    return response.text

USER_AGENTS = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36",
]

import itertools
from typing import List

class ProxyRotator:
    """プロキシを順番に切り替えるクラス"""

    def __init__(self, proxies: List[str]):
        self.proxies = proxies
        self._cycle = itertools.cycle(proxies)

    def get_next(self) -> dict:
        proxy = next(self._cycle)
        return {
            "http": f"http://{proxy}",
            "https": f"http://{proxy}",
        }

# 無料/有料プロキシサービスから取得したIPリスト
proxy_list = [
    "proxy1.example.com:8080",
    "proxy2.example.com:8080",
    "proxy3.example.com:8080",
]

rotator = ProxyRotator(proxy_list)
session = requests.Session()

for url in target_urls:
    proxies = rotator.get_next()
    response = session.get(url, proxies=proxies, timeout=10)

# VPS1（マスター）: タスク分配
# VPS2〜4（ワーカー）: 実際のリクエスト実行

# マスター側でタスクをキューに積む（Redisを使用）
redis-cli LPUSH scrape_queue "https://example.com/page1"
redis-cli LPUSH scrape_queue "https://example.com/page2"

# 各ワーカー側でキューからタスクを取得して実行
# worker.py
import redis
r = redis.Redis(host='MASTER_VPS_IP', port=6379)
while True:
    task = r.brpop('scrape_queue', timeout=5)
    if task:
        url = task[1].decode()
        # 各ワーカー固有のIPからアクセス
        result = fetch_page(url)