Data Science for Beginners 实战作业三类维度下的数据集分类方法【免费下载链接】Data-Science-For-Beginners10 Weeks, 20 Lessons, Data Science for All!项目地址: https://gitcode.com/GitHub_Trending/da/Data-Science-For-Beginners导读本篇文章围绕 Data Science for Beginners 课程第 1 部分第 3 课「定义数据Defining Data」的配套作业《数据集的分类Klassificering af datasæt》展开系统讲解数据分类的三大维度——结构类型结构化 / 半结构化 / 非结构化、价值类型定性 / 定量与来源类型主要 / 次要并逐题演示 5 个真实场景的分类推理过程。读完本文你将掌握一套可直接套用的数据分类判断框架能够独立完成课程作业、为任意新数据集做出合理的分类结论。一、作业背景为什么数据科学家要先给数据分类数据是事实、信息、观察与测量的集合被用来做出发现并支持有依据的决策。一个数据点data point是数据集内的单个数据单元而数据集正是数据点的集合。数据集可能以不同的格式与结构出现且通常取决于它的来源——例如一家公司的月度收益可能存放在电子表格中而智能手表采集的小时级心率数据则可能是 JSON 格式参见课程文档 1-Introduction/03-defining-data/README.md。在实际项目中同一个数据集内混有多种类型的数据是常态因此在动手分析之前先识别并分类数据是数据科学工作流的第一步。本作业要求对给出的 5 个场景分别用以下三类标签进行识别分类维度可选标签结构类型Strukturtype结构化Structured、半结构化Semi-Structured、非结构化Unstructured价值类型Værditype定性Qualitative或定量Quantitative来源类型Kildetype主要Primary或次要Secondary二、分类框架核心概念要正确完成作业需要先理解课程正文 1-Introduction/03-defining-data/README.md 中定义的分类体系。2.1 结构类型数据如何组织原始数据Raw Data是指从源头产生、未经分析或整理的初始状态数据。为了让数据集变得可理解需要将其组织成人类与技术都能读懂的格式数据的组织方式便构成了它的结构类型。结构化数据按行与列组织每一行拥有相同的列集合。列代表某种特定类型的值并用名称标识行则存放实际数值列通常还带有一系列取值规则或约束。例如一个客户电子表格每行必须有电话号码且电话号码中绝不出现字母。其优点是便于与其他结构化数据建立关联缺点是结构一经设计整体改动成本高——比如为不能为空的客户表新增 email 列就必须为存量每一行补值。非结构化数据通常无法归入行列结构没有固定格式或规则。因为约束少新增信息更容易但分析调查往往更耗时。课程给出的例子是传感器每 2 分钟记录一次气压数据当它升级为同时记录温度时无需改动已有数据但若想求上个月平均温度却发现传感器在故障时段记录的是字母 e 而非数字数据就不完整了。半结构化数据兼具结构化与非结构化特征——通常不遵循行列格式但组织方式有一定规则或固定格式。其结构随来源而变可能是层级清晰的也可能较灵活便于整合新信息。元数据如标签、元素、实体、属性帮助决定数据如何组织与存储。下表汇总了三类结构的典型示例来自课程文档结构类型典型示例结构化电子表格、关系型数据库、电话号码、银行对账单非结构化文本文件、短信、视频文件半结构化HTML、CSV 文件、JSON2.2 价值类型数据能否数学化定量数据Quantitative Data是数据集中的数值型观察可被分析、测量并用于数学运算。典型例子包括国家人口、人的身高、公司季度收益。进一步分析可用来发现空气质量指数AQI的季节性趋势或估计工作日高峰时段交通拥堵的概率。定性数据Qualitative Data又称分类数据categorical data无法像定量数据那样被客观测量通常是捕捉产品、流程等质量的主观数据。值得注意的是定性数据有时也以数值形式存在但不会用于数学运算——课程明确指出像电话号码或时间戳就属于此类。典型例子有视频评论、汽车的品牌型号、好友最喜欢的颜色。2.3 来源类型数据从何而来数据源是数据最初生成或栖居的位置。由用户数据使用者直接生成的数据称为主要数据Primary Data来自为通用目的而采集数据的来源则称为次要数据Secondary Data。课程举例一群科学家在雨林中采集观察记录属于主要数据若他们决定分享给其他科学家对使用这些数据的人来说便成为次要数据。常见的数据源包括数据库借助数据库管理系统托管数据用户用查询命令探索、文件音频、图像、视频以及 Excel 等电子表格、互联网数据库与文件常见的托管场所以及 API允许程序员向外部用户共享数据的接口和网页抓取。后续章节 2-Working-With-Data 将进一步讲解如何使用这些数据源。三、结合仓库样本数据的判读演练在动手解答作业前可以先在仓库中找到各类数据的真实样本帮助建立直觉结构化数据样本关系型数据库 2-Working-With-Data/05-relational-databases/airports.db 及配套课程 05-relational-databases 中的表结构行与列完全对齐、主键唯一标识每一行。半结构化数据样本JSON 文件 2-Working-With-Data/06-non-relational/PersonsData.json 中的每条记录包含firstname与age字段字段名充当元数据CSV 文件 data/birds.csv 首行为表头Name,ScientificName,Category,...每行字段以逗号分隔——这正是课程列为半结构化类型的原因。定量与定性列的对比在 data/birds.csv 中MinLength、MaxLength、MinBodyMass等列为数值型、可做均值/范围等数学计算定量而Name、Category、ConservationStatus等是名称与类别标签定性。这也印证了同一数据集中往往混有多种数据类型的课程论断。可配合 examples/02_loading_data.py 用 pandas 的read_csv、describe()等操作直观查看数值列统计量。四、作业题目与分类推理完整解答以下完整呈现作业 translations/da/1-Introduction/03-defining-data/assignment.md 中的 5 个场景并逐题给出基于课程定义的三维分类及推理依据。说明以下参考答案是基于课程正文定义的合理解读用于校验自答结果建议先独立作答再对照。题目 1母公司移交的客户电话号码电子表格一家公司被收购后有了母公司。数据科学家从母公司收到了一份包含客户电话号码的电子表格。结构类型结构化—— 电子表格以行与列组织每行客户具有相同的列集合是课程列举的结构化数据典型示例。价值类型定性—— 电话号码虽由数字组成但课程明确指出电话号码不会用于数学运算属于以数值形式存在的分类数据。来源类型次要—— 数据并非数据科学家所在团队直接采集而是由母公司为自身经营目的收集后移交属于为通用目的而采集的二手来源。题目 2智能手表采集的 JSON 格式心率原始数据智能手表一直在采集佩戴者的心率数据原始数据为 JSON 格式。结构类型半结构化—— JSON 是课程明确列举的半结构化数据示例不遵循行列表格但由字段名元数据与值按固定规则组织。价值类型定量—— 心率是可直接测量并进行数学统计均值、极值、趋势的数值观察。来源类型主要—— 数据由设备从佩戴者本人身上直接采集产生属于由用户生成的主要数据。题目 3存储在 CSV 文件中的员工士气调查一份以 CSV 文件存储的工作场所员工士气调查。结构类型半结构化—— 课程明确将 CSV 文件列为半结构化数据示例虽有表头与分隔符形成的隐式结构但不具备关系型数据库那样严格的列类型约束。价值类型定性—— 士气是对员工主观感受的度量属于无法客观测量的分类/主观数据。来源类型主要—— 调查由组织直接面向员工采集属于第一手的主要数据。题目 4太空探测器收集的星系数据库天体物理学家正在访问一个由太空探测器收集的星系数据库数据包含每个星系中的行星数量。结构类型结构化—— 数据库尤其关系型数据库按表、行、列组织是结构化数据的典型来源。价值类型定量—— 每个星系中的行星数量是明确的计数可进行求和、平均等数学运算。来源类型次要—— 数据由太空探测器而非天体物理学家团队自身采集科学家作为使用者获取二手数据。题目 5通过 API 聚合的财务交易数据个人理财应用使用 API 连接用户的金融账户以计算净资产。用户可以按类似电子表格的行与列格式查看所有交易。结构类型结构化—— 题目明确指出数据呈行与列格式、类似电子表格符合结构化定义。价值类型定量—— 交易金额是可以直接参与数学计算的数值型数据。来源类型次要—— 交易数据来自用户各金融账户银行等外部机构为通用目的维护的数据应用通过 API 接入这些外部来源对应用及其用户而言属于二手数据。答案速查表题号结构类型价值类型来源类型1. 客户电话号电子表格结构化定性次要2. 心率 JSON 原始数据半结构化定量主要3. 员工士气 CSV 调查半结构化定性主要4. 星系数据库结构化定量次要5. 财务交易API结构化定量次要五、评分标准Rubric作业按以下标准评估摘自 assignment.md优秀Exemplary合格Adequate需改进Needs Improvement正确识别出所有题目的结构、价值与来源类型正确识别出 3 道题目的结构、价值与来源类型正确识别出 2 道或更少题目的结构、价值与来源类型可以看出评分的核心在于每个分类维度都给出明确的判断。练习时可以遵循固定检查顺序先看数据如何组织判断结构类型再看数值能否数学运算判断价值类型最后追问谁采集、谁使用判断来源类型三问三答即可避免漏判。六、拓展练习给任意数据集做分类完成作业后可将同一套框架应用到仓库内的其他真实数据集巩固判断能力data/diabetes.tsv制表符分隔文件TSV与 CSV 同属半结构化其中的血糖、年龄等数值列为定量诊断结果为定性。data/honey.csvCSV 半结构化产量为定量州/年份标签为定性。data/emails.csvCSV 半结构化邮件正文内容若展开看则是非结构化文本二者可同存于一列正体现数据集中混合多类型的实践情形。对照课程在结论部分总结的要点——数据是什么、数据如何描述、数据如何分类与归类、数据在哪里可以找到——把每一份文件的三维标签写下来即可将本课的判断框架固化为可复用的分析习惯。【免费下载链接】Data-Science-For-Beginners10 Weeks, 20 Lessons, Data Science for All!项目地址: https://gitcode.com/GitHub_Trending/da/Data-Science-For-Beginners创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考