自分から学習しに行く機能をクローラって言うんでは?><;
適当な参考記事><生成AI検索エンジンのPerplexityはクローラーを防ぐ「robots.txt」を無視してウェブサイトから情報を抜き出している - GIGAZINE https://gigazine.net/news/20240617-perplexity-ai-lying-user-agent/
思考の /dev/null