# монетизация контента

Published articles for монетизация контента.

This is one page of public article previews, not the complete archive. Follow Next page to continue. Summaries are not the original full articles.

## Cloudflare update distinguishes search crawlers from AI training bots

DevFeed: [Cloudflare update distinguishes search crawlers from AI training bots](<https://devfeed.tech/articles/cloudflare-40899.md>)

Original publisher: [Read original article](<https://habr.com/ru/news/1083142/>)

Author: neuromamontov

Published: 2026-09-16T21:09:58Z

Content type: news

Language: ru

Sources: [Tagir Valeev](<https://devfeed.tech/sources/tagir-valeev.md>)

Topics: [Cloudflare](<https://devfeed.tech/topics/cloudflare.md>), [Artificial Intelligence](<https://devfeed.tech/topics/ai.md>)

Tags: [2025](<https://devfeed.tech/tags/2025.md>), [ai](<https://devfeed.tech/tags/ai.md>), [ai-5ebc2dd0d80c](<https://devfeed.tech/tags/ai-5ebc2dd0d80c.md>), [cloudflare](<https://devfeed.tech/tags/cloudflare.md>), [geo](<https://devfeed.tech/tags/geo.md>), [llms-txt](<https://devfeed.tech/tags/llms-txt.md>), [robots-txt](<https://devfeed.tech/tags/robots-txt.md>), [tag-3ec72a25b0de](<https://devfeed.tech/tags/tag-3ec72a25b0de.md>), [tag-6dbce23d3386](<https://devfeed.tech/tags/tag-6dbce23d3386.md>), [tag-ba47f5ee56ab](<https://devfeed.tech/tags/tag-ba47f5ee56ab.md>), [tag-c94f063f9c70](<https://devfeed.tech/tags/tag-c94f063f9c70.md>), [tag-d5d895f883db](<https://devfeed.tech/tags/tag-d5d895f883db.md>)

### AI overview

The article discusses Cloudflare's update for distinguishing search crawlers from AI training bots. It explains why website owners may want to allow search indexing while restricting AI training access, and notes that the earlier llms.txt approach was not widely adopted.

### Source excerpt

Буду первым, кто не просто перепостит новость про обновление Cloudflare, а ещё и по существу прокомментирует, почему тема разделения ботов на поисковых и обучающих так важна для владельцев сайтов. Что показательно, тема ещё и совсем не новая: эти разговоры я слышал ещё года полтора назад -- тогда все обсуждали формат llms.txt, который, к слову, так толком и не взлетел. Но ключевая идея была очевидна уже тогда: желающих закрыть свой сайт от обучающих ботов в разы больше чем желающих закрыть сайт от поисковых ботов -- 17% против менее чем 1% (оценка самого Cloudflare, 2025). Читать далее