"""README.md репозитория, если описание задачи — только ссылка на git. Не привязываемся к GitHub/GitLab (у пользователя может быть селф-хостед): пробуем набор известных путей к сырому README — API github/gitlab/gitea и raw-пути web-интерфейсов — пока какой-нибудь не ответит markdown'ом. Нашли — отдаём, нет — None (фронт оставляет описание как было). """ from __future__ import annotations import threading import time from urllib.parse import urlparse import httpx # Общий тайм-бюджет на одну ссылку: перебор кандидатов не дольше этого. TOTAL_TIMEOUT = 15.0 PER_TRY_TIMEOUT = 5.0 MAX_BYTES = 256_000 CACHE_TTL = 600.0 # повторные чтения одной ссылки не долбят git-хост _CACHE: dict[str, tuple[float, str | None]] = {} _CACHE_LOCK = threading.Lock() _HEADERS = { # GitHub API отдаёт сырой README только с raw-мимом; остальным всё равно "Accept": "application/vnd.github.raw+json, text/markdown;q=0.9, text/plain;q=0.8, */*;q=0.7", "User-Agent": "gntodo/1.0 (README for task description)", } def repo_candidates(url: str) -> list[str]: """Ссылка на репозиторий → кандидаты URL сырого README.md (пусто — не похоже).""" parsed = urlparse(url) if parsed.scheme not in ("http", "https") or not parsed.netloc: return [] path = parsed.path.strip("/") if path.endswith(".git"): path = path[: -len(".git")] segments = [s for s in path.split("/") if s] # «Похоже на git»: ожидаем owner/repo (вложенность селф-хостеда — тоже git-система, # берём последние два сегмента пути как owner/repo) if len(segments) < 2: return [] owner, repo = segments[-2], segments[-1] base = f"{parsed.scheme}://{parsed.netloc}" full_path = "/".join(segments) out: list[str] = [] # raw-путь с HEAD (дефолтная ветка) — самый универсальный: github, GitBucket, # Gogs; GitHub API вторым (умеет любой регистр/расширение README, но 60/час # без токена), затем API GitLab/Gitea (работают и селф-хостед) out.append(f"{base}/{full_path}/raw/HEAD/README.md") if parsed.netloc == "github.com": out.append(f"https://api.github.com/repos/{owner}/{repo}/readme") # GitLab (gitlab.com и селф-хостед): url-encoded путь, HEAD = дефолтная ветка quoted = full_path.replace("/", "%2F") out.append( f"{base}/api/v4/projects/{quoted}/repository/files/README%2Emd/raw?ref=HEAD" ) # Gitea/Gogs API + прочие raw-пути web-интерфейсов out.append(f"{base}/api/v1/repos/{owner}/{repo}/raw/README.md?ref=HEAD") out.extend( [ f"{base}/{full_path}/-/raw/HEAD/README.md", f"{base}/{full_path}/raw/main/README.md", f"{base}/{full_path}/raw/master/README.md", ] ) return out def _looks_html(text: str, content_type: str) -> bool: if "html" in content_type.lower(): return True head = text.lstrip()[:200].lower() return head.startswith(" str | None: try: resp = await client.get(url) except httpx.HTTPError: return None if resp.status_code != 200: return None text = resp.text if not text.strip() or _looks_html(text, resp.headers.get("content-type", "")): return None return text[:MAX_BYTES] async def fetch_readme(url: str) -> str | None: """Сырой README.md по ссылке на репозиторий; None — не нашли (кэш 10 минут).""" now = time.monotonic() with _CACHE_LOCK: hit = _CACHE.get(url) if hit is not None and now - hit[0] < CACHE_TTL: return hit[1] content: str | None = None candidates = repo_candidates(url) if candidates: started = time.monotonic() async with httpx.AsyncClient(follow_redirects=True, timeout=PER_TRY_TIMEOUT) as client: for candidate in candidates: if time.monotonic() - started > TOTAL_TIMEOUT: break content = await _try(client, candidate) if content is not None: break with _CACHE_LOCK: if len(_CACHE) > 128: _CACHE.clear() _CACHE[url] = (now, content) return content