自分から学習しに行く機能をクローラって言うんでは？＞＜；

適当な参考記事＞＜
生成AI検索エンジンのPerplexityはクローラーを防ぐ「robots.txt」を無視してウェブサイトから情報を抜き出している - GIGAZINE https://gigazine.net/news/20240617-perplexity-ai-lying-user-agent/