品玩8月8日讯,据 The Verge 报道,OpenAI 现已发布网络爬虫工具GPTBot,可用于收集网页信息来训练 AI 模型。
据悉,能够在注重版权的基础上,使用透明的方式收集网页信息。GPTBot 使用专有网页 UA 表示其爬虫身份,任何网站管理者都可以自由允许或阻止该爬虫工具进行数据采集。
OpenAI 表示,若网站管理员不希望被爬虫搜集资料,管理员可以在网站服务器的 robots.txt 文件中完全禁止 GPTBot 抓取信息,或自行决定 GPTBot 抓取网站上的指定信息。
OpenAI 发布网络爬虫工具 GPTBot
2023年8月8日品玩8月8日讯,据 The Verge 报道,OpenAI 现已发布网络爬虫工具GPTBot,可用于收集网页信息来训练 AI 模型。
据悉,能够在注重版权的基础上,使用透明的方式收集网页信息。GPTBot 使用专有网页 UA 表示其爬虫身份,任何网站管理者都可以自由允许或阻止该爬虫工具进行数据采集。
OpenAI 表示,若网站管理员不希望被爬虫搜集资料,管理员可以在网站服务器的 robots.txt 文件中完全禁止 GPTBot 抓取信息,或自行决定 GPTBot 抓取网站上的指定信息。
下载品玩App,比99.9%的人更先知道关于「OpenAI」的新故事
下载品玩App
比99.9%的人更先知道关于「OpenAI」的新故事
0 条评论
请「登录」后评论