LlmsTxtBot

Как мы ходим по сайтам

User-Agent: LlmsTxtBot/1.0 (+https://llms-txt.ru/bot)

Бот открывает публичные страницы по запросу человека, чтобы собрать llms.txt. Только GET, без форм, без логина, без обхода капчи и WAF. Соблюдаем robots.txt.

Чтобы пустить только нас, не открывая сайт всем ИИ-краулерам:

User-agent: LlmsTxtBot
Allow: /

В Cloudflare / WAF достаточно исключения по User-Agent LlmsTxtBot для публичных путей, не для /admin.

Если пускать бота нельзя — сгенерируйте файл вручную: вставьте URL или тексты страниц на экране задания. Это не обход защиты, а работа с контентом, который вы и так видите.

Жалобы и блок: info@llms-txt.ru, укажите User-Agent и домен. Ходим редко, с паузой между страницами, лимит около 25 URL на задание.