1.互联网大数据4V特征不包含以下哪一项（ ） (单选题)
A.数据量大
B.数据类型单一
C.处理速度快
D.价值密度低
答案：B
2.规范爬虫爬取权限,保障爬虫行为合规的协议是（ ） (单选题)
A.HTTP协议
B.Robots协议
C.TCP协议
D.UDP协议
答案：B
3.Python中专门用于发送HTTP请求,获取网页源码的第三方库是（ ） (单选题)
A.BeautifulSoup
B.requests
C.sqlite3
D.re
答案：B
4.适合传输大量表单数据、参数放置在请求体中的HTTP请求方式是（ ） (单选题)
A.GET
B.POST
C.HEAD
D.PUT
答案：B
5.用于解析HTML网页,支持CSS选择器提取页面数据的Python库是（ ） (单选题)
A.requests
B.BeautifulSoup
C.time
D.random
答案：B
6.实现网页无刷新局部数据加载,动态网页爬虫必须解析的前端技术是（ ） (单选题)
A.Ajax
B.HTML
C.CSS
D.DOM
答案：A
7.爬虫添加请求头伪装浏览器,规避基础反爬最关键的请求头参数是（ ） (单选题)
A.User-Agent
B.Host
C.Referer
D.Connection
答案：A
8.下列选项中,不属于爬虫五大核心技术特性的是（ ） (单选题)
A.遍历性
B.增量性
C.随机性
D.健壮性
答案：C
9.文本挖掘中,用于计算词汇权重、课程核心计算考点的算法是（ ） (单选题)
A.TF-IDF
B.K-Means
C.SVM
D.决策树
答案：A
10.无需搭建独立服务,适合爬虫小规模本地数据存储的嵌入式数据库是（ ） (单选题)
A.MySQL
B.SQLite
C.Oracle
D.Redis
答案：B
11.爬虫访问网页返回403状态码,对应的服务器响应含义是（ ） (单选题)
A.页面不存在
B.禁止访问
C.请求超时
D.请求成功
答案：B
12.爬虫需要维持登录会话、访问权限页面,必须携带的请求头参数是（ ） (单选题)
A.Cookie
B.UA
C.IP
D.端口号
答案：A
13.Python中实现网页超链接、文本内容匹配提取的内置库是（ ） (单选题)
A.requests
B.re
C.beautifulsoup
D.sqlite3
答案：B
14.以下属于通用爬虫局限,需要主题爬虫优化解决的问题是（ ） (单选题)
A.爬取数据冗余量大
B.爬取速度过慢
C.代码报错频繁
D.无法发起请求
答案：A
15.DeepWeb爬虫主要针对哪类网页开展数据采集（ ） (单选题)
A.静态公开网页
B.需要表单提交查询的隐藏网页
C.首页导航网页
D.新闻列表网页
答案：B
16.微博爬虫开发中,官方合规优先推荐的数据获取方式是（ ） (单选题)
A.直接爬取网页源码
B.调用微博开放API
C.破解登录接口
D.批量抓取用户隐私数据
答案：B
17.爬虫多线程技术的核心作用是（ ） (单选题)
A.简化代码结构
B.提升网页爬取并发速度
C.规避所有反爬
D.减少代码报错
答案：B
18.以下不属于网站反爬虫检测手段的是（ ） (单选题)
A.检测访问频率
B.校验请求头信息
C.主动放行所有请求
D.验证码拦截
答案：C
19.文本挖掘中,VSM指的是（ ） (单选题)
A.向量空间模型
B.时间序列模型
C.聚类算法
D.分类算法
答案：A
20.酒店评论情感分析属于课程哪一类大数据应用场景（ ） (单选题)
A.网络遍历采集
B.文本挖掘分析
C.动态网页抓取
D.多线程爬虫
答案：B
21.网页相对链接无法直接访问网页,核心原因是（ ） (单选题)
A.缺少域名主机地址
B.网络延迟过高
C.代码存在bug
D.网页服务器故障
答案：A
22.爬虫代码中time.sleep（ ）延时函数的主要作用是（ ） (单选题)
A.加快爬取速度
B.降低访问频率规避反爬
C.解析网页数据
D.存储数据
答案：B
23.以下哪一项是爬虫开发首要遵守的准则（ ） (单选题)
A.尽可能快速爬取全站数据
B.遵守Robots协议与网络法规
C.绕过所有反爬策略
D.爬取用户隐私数据
答案：B
24.JSON格式数据在爬虫项目中主要用于（ ） (单选题)
A.网页结构搭建
B.异步接口数据传输
C.页面样式美化
D.爬虫代码编写
答案：B
25.爬虫健壮性设计的核心目的是（ ） (单选题)
A.让爬虫应对网络波动、页面结构变化依旧稳定运行
B.提升爬取速度
C.简化代码
D.破解验证码
答案：A
26.新闻舆情分析主要依托文本挖掘哪项技术实现（ ） (单选题)
A.文本情感与主题分类
B.图片解析
C.视频抓取
D.数据库备份
答案：A
27.下列属于XPath语法作用的是（ ） (单选题)
A.定位网页XML/HTML节点
B.发送网络请求
C.存储爬虫数据
D.优化爬虫速度
答案：A
28.爬虫请求超时,最直接的解决办法是（ ） (单选题)
A.设置timeout超时参数
B.删除全部代码
C.更换解析库
D.关闭网络
答案：A
29.以下哪项不属于文本预处理步骤（ ） (单选题)
A.中文分词
B.停用词过滤
C.直接爬取网页
D.去除特殊符号
答案：C
30.课程最终综合实训要求构建的系统是（ ） (单选题)
A.酒店评论文本挖掘原型系统
B.图片下载系统
C.视频播放系统
D.聊天机器人系统
答案：A
31.以下属于HTTP请求头部常用参数的有（ ） (多选题)
A.User-Agent
B.Cookie
C.Host
D.HTML
答案：ABC
32.网站常见基础反爬虫机制包含（ ） (多选题)
A.访问频率检测
B.User-Agent校验
C.验证码拦截
D.IP封禁
答案：ABCD
33.下列属于Python爬虫专用第三方库的有（ ） (多选题)
A.requests
B.BeautifulSoup
C.lxml
D.re
答案：ABC
34.以下属于文本挖掘标准流程的有（ ） (多选题)
A.文本采集
B.文本预处理
C.文本特征计算
D.情感分类分析
答案：ABCD
35.爬虫开发中可以规避基础反爬的手段有（ ） (多选题)
A.添加UA伪装
B.设置访问延时
C.携带Cookie
D.高频无间隔请求
答案：ABC
36.下列属于静态爬虫与动态爬虫核心差异的有（ ） (多选题)
A.数据加载方式不同
B.页面源码数据完整性不同
C.请求处理逻辑不同
D.均可以直接抓取全部页面数据
答案：ABC
37.爬虫合法合规开发需要遵守的边界要求包括（ ） (多选题)
A.遵循网站robots.txt协议
B.禁止爬取用户隐私敏感数据
C.控制合理爬取频率,不攻击服务器
D.随意绕过网站安全防护机制
答案：ABC
38.以下属于DeepWeb深度爬虫独有特点的是（ ） (多选题)
A.无法通过静态URL直接访问
B.需要表单提交查询数据
C.页面链接公开可直接遍历
D.需要登录权限验证
答案：ABD
39.文本聚类技术在文本挖掘中的典型应用场景有（ ） (多选题)
A.新闻话题自动归类
B.酒店评论内容分类
C.关键词权重计算
D.舆情热点板块划分
答案：ABD
40.多线程爬虫相较于单线程爬虫具备的优势有（ ） (多选题)
A.并发爬取,提升整体采集速度
B.同时发起多个网页请求
C.代码编写难度更低
D.减少空闲等待时间
答案：ABD
41.多线程爬虫开发过程中存在的缺陷有（ ） (多选题)
A.多线程抢占资源易造成数据错乱
B.无锁情况下出现数据重复、缺失
C.代码逻辑比单线程更复杂
D.爬取速度始终优于所有单线程爬虫
答案：ABC
42.爬虫抓包获取Ajax异步接口时,可查看的请求信息有（ ） (多选题)
A.接口请求地址
B.请求方式GET/POST
C.接口请求参数
D.接口返回JSON数据
答案：ABCD
43.下列属于网页解析常用工具与语法的有（ ） (多选题)
A.BeautifulSoup
B.XPath
C.CSS选择器
D.re正则表达式
答案：ABCD
44.需要在文本预处理阶段过滤处理的内容有（ ） (多选题)
A.网页HTML标签
B.多余空格与换行符
C.语气助词等停用词
D.有效关键词
答案：ABC
45.以下属于HTTP服务器服务端错误状态码的有（ ） (多选题)
A.500
B.502
C.404
D.503
答案：ABD
46.主题爬虫相比通用爬虫具备的优势包含（ ） (多选题)
A.精准抓取目标主题页面
B.减少无效冗余数据
C.节省本地存储空间
D.爬取覆盖范围更广
答案：ABC
47.Python爬虫中实现会话保持、维持登录状态的方式有（ ） (多选题)
A.手动携带Cookie请求头
B.使用requests.Session会话对象
C.直接发送无请求头GET请求
D.保存本地Cookie文件复用
答案：ABD
48.下列适合使用POST请求发送数据的场景有（ ） (多选题)
A.网站账号密码登录
B.长文本表单提交
C.简单关键词搜索查询
D.批量上传表单数据
答案：ABD
49.爬虫数据持久化存储可选择的方式有（ ） (多选题)
A.本地TXT文本
B.Excel表格
C.SQLite数据库
D.直接存放在程序内存
答案：ABC
50.以下属于TF-IDF算法作用描述正确的有（ ） (多选题)
A.衡量单个词汇在文本中的重要程度
B.过滤文档中高频无意义通用词汇
C.实现文本关键词提取
D.直接完成文本情感判别
答案：ABC
51.爬虫可以随意爬取网站隐私数据,无需遵守任何网络协议与法律法规。（ ） (判断题)
A.正确
B.错误
答案：B
52.GET请求可以携带请求体传输大批量文本数据。（ ） (判断题)
A.正确
B.错误
答案：B
53.多线程爬虫能够有效提升网页并发爬取效率。（ ） (判断题)
A.正确
B.错误
答案：A
54.BeautifulSoup库同时支持CSS选择器与XPath两种网页节点定位方式。（ ） (判断题)
A.正确
B.错误
答案：A
55.Ajax加载的动态数据可以直接通过requests请求静态网页源码获取。（ ） (判断题)
A.正确
B.错误
答案：B
56.robots.txt文件放置在网站根目录下,用于声明全站爬虫访问权限。（ ） (判断题)
A.正确
B.错误
答案：A
57.主题爬虫相比于通用爬虫,爬取的数据精准度更高,冗余数据更少。（ ） (判断题)
A.正确
B.错误
答案：A
58.TF-IDF数值越高,代表该词汇在当前文本中的重要程度越低。（ ） (判断题)
A.正确
B.错误
答案：B
59.携带Cookie发起请求可以帮助爬虫维持登录会话状态。（ ） (判断题)
A.正确
B.错误
答案：A
60.SQLite数据库需要单独安装服务端才能正常使用。（ ） (判断题)
A.正确
B.错误
答案：B
61.爬虫设置代理IP可以有效规避目标网站的单IP访问频率封禁限制。（ ） (判断题)
A.正确
B.错误
答案：A
62.调用微博官方开放API采集数据,需要提前申请开发者密钥与接口权限。（ ） (判断题)
A.正确
B.错误
答案：A
63.DeepWeb页面可以直接通过公开静态URL链接完成全站遍历爬取。（ ） (判断题)
A.正确
B.错误
答案：B
64.文本聚类属于无监督学习算法,训练过程不需要人工标注分类标签。（ ） (判断题)
A.正确
B.错误
答案：A
65.时间序列预测可以基于历史爬虫采集的舆情数据,预测未来热点舆情变化趋势。（ ） (判断题)
A.正确
B.错误
答案：A
66.校园实训场景下,爬虫可以无限制爬取校内教务系统全部用户隐私信息。（ ） (判断题)
A.正确
B.错误
答案：B
67.爬虫代码未做异常捕获时,单次请求超时会直接导致整个程序崩溃终止。（ ） (判断题)
A.正确
B.错误
答案：A
68.滑块验证码、点选验证码均属于行为类反爬,主要检测人机操作轨迹差异。（ ） (判断题)
A.正确
B.错误
答案：A
69.微博API接口请求频率无限制,可以不间断高频调用接口采集数据。（ ） (判断题)
A.正确
B.错误
答案：B
70.DeepWeb爬虫必须支持表单自动填充功能,才能完成隐藏页面的数据采集。（ ） (判断题)
A.正确
B.错误
答案：A
71.文本聚类结果的好坏,和前期文本预处理的清洗质量没有任何关联。（ ） (判断题)
A.正确
B.错误
答案：B
72.时间序列预测模型只能预测舆情热度,无法适配爬虫每日请求量波动预测场景。（ ） (判断题)
A.正确
B.错误
答案：B
73.只要遵循robots协议,爬虫就完全不会受到网站任何反爬策略拦截。（ ） (判断题)
A.正确
B.错误
答案：B
74.在爬虫代码中使用try-except捕获异常,只能捕获网络请求异常,无法捕获代码语法错误。（ ） (判断题)
A.正确
B.错误
答案：A
75.验证码识别是对抗网站强反爬策略最直接有效的技术手段之一。（ ） (判断题)
A.正确
B.错误
答案：A
76.微博网页爬虫抓取前端源码,获取的微博内容完整度高于官方API接口返回数据。（ ） (判断 题)
A.正确
B.错误
答案：B
77.所有需要登录验证的网页,都属于DeepWeb深度网页范畴。（ ） (判断题)
A.正确
B.错误
答案：A
78.文本聚类可以自动合并语义相近的评论文本,实现爬虫重复评论数据去重。（ ） (判断题)
A.正确
B.错误
答案：A
79.时间序列预测模型输入数据无需按照时间顺序排列,不影响最终预测结果。（ ） (判断题)
A.正确
B.错误
答案：B
80.爬虫开发全过程中,合规性优先级永远高于爬取速度与爬取数据量。（ ） (判断题)
A.正确
B.错误
答案：A
81.网站用来约束爬虫访问权限的协议文件名称是（ ）。 (填空题)
答案：robots.txt;
82.Python中实现正则匹配的内置库为（ ）。 (填空题)
答案：re;
83.动态网页异步局部刷新的核心前端技术缩写是（ ）。 (填空题)
答案：Ajax;
84.文本挖掘中衡量关键词权重的核心计算公式缩写为（ ）。 (填空题)
答案：TF-IDF;
85.爬虫模拟浏览器访问,必须在请求头中添加（ ）参数。 (填空题)
答案：User-Agent;
86.爬虫请求网页返回404状态码,代表网页（ ）。 (填空题)
答案：不存在;
87.Python中用于实现爬虫多线程并发爬取,内置的线程模块是（ ）。 (填空题)
答案：threading;
88.爬虫爬取大量结构化数据,实现永久本地保存的操作统称为数据（ ）。 (填空题)
答案：持久化;
89.文本挖掘中,无实际语义、需要提前过滤删除的虚词统称为（ ）。 (填空题)
答案：停用词;
90.主题爬虫判断页面是否需要爬取,核心判断依据是页面与目标主题的（ ）。 (填空题)
答案：相关度;
91.requests请求出现连接超时错误,对应的异常类是requests.exceptions.（ ）。 (填空题)
答案：Timeout;
92.中文文本无法直接计算TF-IDF,第一步需要执行（ ）操作拆分词语。 (填空题)
答案：中文分词;
93.可以快速定位网页HTML标签节点,语法简洁高效的定位语言是（ ）。 (填空题)
答案：XPath;
94.爬虫模拟人工浏览、降低访问频率,规避IP封禁的内置延时函数是time.（ ）。 (填空题)
答案：sleep;
95.无需安装服务端、适合课程小型爬虫项目的轻量化数据库是（ ）。 (填空题)
答案：SQLite;
96.多线程爬虫出现数据错乱、覆盖丢失问题,需要添加（ ）保证线程同步。 (填空题)
答案：线程锁;
97.Ajax异步接口返回最常见的结构化数据格式为（ ）。 (填空题)
答案：JSON;
98.网页相对链接拼接完整域名,需要使用urllib.parse库中的（ ）函数。 (填空题)
答案：urljoin;
99.服务器正常成功响应爬虫请求,返回的HTTP状态码是（ ）。 (填空题)
答案：200;
100.维持爬虫登录状态、访问权限页面必须携带的请求头字段是（ ）。 (填空题)
答案：Cookie;
本题库总共：4个章节，111道题目，剩余11道题可至试题通小程序继续答题。
