Data Analysis

Data Analysis Skill - 通用 6 阶段数据分析指南

此 skill 提供专业的数据分析方法论，采用标准的 6 阶段工作流，适用于任何数据集。

---

🚀 核心：6 阶段工作流（通用）

┌─────────────────────────────────────────────────────────────┐
│ Stage 1: 数据质量检查 (Data Quality)                         │
│   - 完整性、唯一性、有效性检查                               │
│   - 问题诊断和改进建议                                       │
└─────────────────────────┬───────────────────────────────────┘
                          ↓
┌─────────────────────────────────────────────────────────────┐
│ Stage 2: 探索性数据分析 (Exploratory Data Analysis)         │
│   - 描述性统计（均值、中位数、标准差）                       │
│   - 相关性分析、模式发现                                     │
│   - 异常检测                                                 │
└─────────────────────────┬───────────────────────────────────┘
                          ↓
┌─────────────────────────────────────────────────────────────┐
│ Stage 3: 研究假设生成 (Hypothesis Generation)                │
│   - 基于数据发现生成可检验假设                               │
│   - A/B 测试设计、实验方法论                                 │
└─────────────────────────┬───────────────────────────────────┘
                          ↓
┌─────────────────────────────────────────────────────────────┐
│ Stage 4: 数据可视化 (Visualization)                          │
│   - 统计图表、分布图、热力图                                 │
│   - 交互式仪表板                                             │
└─────────────────────────┬───────────────────────────────────┘
                          ↓
┌─────────────────────────────────────────────────────────────┐
│ Stage 5: 可复用代码生成 (Code Generation)                    │
│   - 数据处理管道、分析函数库                                 │
│   - 机器学习代码（如需要）                                   │
└─────────────────────────┬───────────────────────────────────┘
                          ↓
┌─────────────────────────────────────────────────────────────┐
│ Stage 6: 综合报告生成 (Report Generation)                    │
│   - 综合分析报告 + 执行摘要                                  │
│   - 业务洞察和建议                                           │
└─────────────────────────────────────────────────────────────┘

---

📂 Skill 目录结构（所有内容都在这里）

.trae/skills/data-analysis/
├── SKILL.md                           # 本文档
├── templates/                         # 📋 模板目录
│   ├── stage1_quality_template.md    # Stage 1: 数据质量报告模板
│   ├── stage2_eda_template.md        # Stage 2: 探索性分析报告模板
│   ├── stage3_hypothesis_template.md # Stage 3: 假设生成模板
│   ├── stage4_visualization_template.md # Stage 4: 可视化模板
│   ├── stage5_code_template.md       # Stage 5: 代码生成模板
│   └── stage6_report_template.md     # Stage 6: 综合报告模板
├── examples/                          # 📊 示例目录
│   └── olist/                        # Olist 数据集分析示例（仅供参考）
│       ├── README.md
│       └── sample_outputs/
└── guide/                            # 📖 详细指南
    ├── stage1_quality_guide.md
    ├── stage2_eda_guide.md
    ├── stage3_hypothesis_guide.md
    ├── stage4_visualization_guide.md
    ├── stage5_code_guide.md
    └── stage6_report_guide.md

---

🎯 使用指南

Step 1: 开始分析

当用户需要分析数据时，按照以下 6 个阶段进行：

1. Stage 1: 数据质量检查
2. Stage 2: 探索性数据分析
3. Stage 3: 研究假设生成
4. Stage 4: 数据可视化
5. Stage 5: 代码生成（如需要）
6. Stage 6: 综合报告生成

Step 2: 输出组织

创建以下输出目录结构（可自定义名称）：

analysis_results/
├── stage1_quality_report/
├── stage2_eda_report/
├── stage3_hypothesis_report/
├── stage4_visualizations/
├── stage5_generated_code/
└── stage6_final_report/

---

📋 各阶段详细指导

Stage 1: 数据质量检查

目标: 评估数据质量，识别问题并提出改进建议

检查要点:

• 完整性: 缺失值统计
• 唯一性: 重复记录检查
• 有效性: 数据类型、范围、格式验证
• 一致性: 数据逻辑一致性检查

输出:

• 质量评估报告
• 问题日志
• 改进建议

参考模板: templates/stage1_quality_template.md

---

Stage 2: 探索性数据分析

目标: 理解数据结构，发现模式和洞察

分析内容:

• 描述性统计: 均值、中位数、标准差、分位数
• 相关性分析: Pearson/Spearman 相关系数
• 模式发现: 时间趋势、分布模式、异常值
• 可视化: 直方图、箱线图、散点图

输出:

• 统计摘要
• 模式发现报告
• 相关性分析

参考模板: templates/stage2_eda_template.md

---

Stage 3: 研究假设生成

目标: 基于数据发现生成可检验的假设

假设类型:

• 相关性假设: A 是否与 B 相关？
• 比较性假设: A 组是否显著不同于 B 组？
• 因果性假设: A 是否导致 B？

输出:

• 研究假设列表（带优先级）
• 实验设计方案
• 验证计划

参考模板: templates/stage3_hypothesis_template.md

---

Stage 4: 数据可视化

目标: 用图表讲述数据故事

图表类型:

• 趋势分析: 折线图、面积图
• 分布分析: 直方图、密度图、箱线图
• 相关性: 散点图、热力图
• 比较: 柱状图、分组图
• 构成: 饼图、堆叠图

输出:

• 可交互式 HTML 仪表板（推荐）
• 静态图表（PNG/SVG）
• 可视化代码

参考模板: templates/stage4_visualization_template.md

---

Stage 5: 代码生成

目标: 生成可复用的分析代码

代码类型:

• 数据预处理和清洗
• 质量检查函数
• 分析管道
• 可视化函数
• 机器学习代码（如需要）

输出:

• 完整的分析脚本
• 可复用的函数库
• 使用说明

参考模板: templates/stage5_code_template.md

---

Stage 6: 综合报告生成

目标: 汇总所有分析，提供业务洞察

报告结构: 1. 执行摘要 2. 数据概述 3. 深度分析 4. 研究假设 5. 业务建议 6. 实验设计 7. 结论

输出:

• 综合分析报告（Markdown/PDF）
• 执行摘要（给管理层）
• 技术附录

参考模板: templates/stage6_report_template.md

---

🔧 快速参考

常用分析方法

---

🏷️ 语言要求

所有分析输出、报告和可视化使用中文，除非用户另有说明。

---

� 详细指南

每个阶段的详细操作指南，请参考 guide/ 目录下的文档。

---

✅ Skill 特点

✅ 通用化: 适用于任何数据集，不绑定特定数据 ✅ 指导性: 提供方法论和模板，而非写死的脚本 ✅ 完整: 标准 6 阶段工作流 ✅ 本地化: 所有内容放在 skill 目录下 ✅ 可扩展: 可根据需要添加新模板和指南

Olist 电商数据分析 - 参考示例

此目录包含 Olist 数据集的分析示例，仅供参考，不作为 skill 的核心部分。

---

📋 说明

此示例展示了如何将 6 阶段工作流应用于实际的电商数据集。

---

📂 示例输出结构（参考）

sample_outputs/
├── stage1_quality_report/        # 参考：Stage 1 输出格式
├── stage2_eda_report/            # 参考：Stage 2 输出格式
├── stage3_hypothesis_report/     # 参考：Stage 3 输出格式
├── stage4_visualizations/        # 参考：Stage 4 输出格式
├── stage5_generated_code/        # 参考：Stage 5 输出格式
└── stage6_final_report/          # 参考：Stage 6 输出格式

---

🎯 关键要点

• Stage 1: 评估数据完整性、唯一性、有效性
• Stage 2: 发现订单金额分布、客户评分趋势等模式
• Stage 3: 生成配送时间与满意度相关等假设
• Stage 4: 创建交互式 HTML 仪表板
• Stage 5: 生成 RFM 分析等可复用代码
• Stage 6: 汇总为综合报告和执行摘要

---

⚠️ 注意

这只是一个参考示例，skill 本身是通用的，适用于任何数据集！

Stage 1: 数据质量检查 - 详细指南

目标

全面评估数据集的质量，识别潜在问题，为后续分析提供可靠基础。

---

检查清单

1. 完整性检查

• [ ] 统计每列的缺失值数量
• [ ] 计算缺失率（缺失值 / 总行数）
• [ ] 识别缺失值模式（随机/系统性）
• [ ] 评估缺失值对分析的影响

2. 唯一性检查

• [ ] 检查是否有完全重复的记录
• [ ] 检查主键/ID列是否唯一
• [ ] 检查业务唯一性约束

3. 有效性检查

• [ ] 验证数据类型是否正确
• [ ] 检查数值范围是否合理
• [ ] 验证日期/时间格式
• [ ] 检查分类值是否在预期范围内
• [ ] 验证字符串格式（邮箱、电话等）

4. 一致性检查

• [ ] 检查关联表的外键一致性
• [ ] 验证业务规则逻辑
• [ ] 检查数据录入一致性

---

操作步骤

Step 1: 数据加载

加载数据集，了解基本结构（行数、列数、列名）

Step 2: 完整性分析

• 统计各列缺失值
• 可视化缺失值分布
• 识别高缺失率列（建议阈值：>30%）

Step 3: 唯一性分析

• 检查重复记录
• 验证主键唯一性

Step 4: 有效性验证

• 数据类型验证
• 范围检查
• 格式验证

Step 5: 问题汇总与评分

• 汇总发现的问题
• 计算各维度评分
• 给出总体质量评分

Step 6: 生成报告

使用模板生成质量报告和改进建议

---

常用工具/方法

---

质量评分标准

---

常见问题处理

Stage 2: 探索性数据分析 - 详细指南

目标

理解数据结构，发现模式和洞察，为后续分析提供方向。

---

分析内容

1. 描述性统计

• 数值型变量：均值、中位数、标准差、分位数
• 分类型变量：频数、占比
• 时间变量：时间范围、频率

2. 相关性分析

• Pearson/Spearman 相关系数
• 相关性热力图
• 识别强相关变量对

3. 模式发现

• 时间趋势（如适用）
• 分布模式
• 周期性模式
• 异常值检测

4. 可视化探索

• 直方图（分布）
• 箱线图（异常值）
• 散点图（相关性）
• 折线图（趋势）

---

操作步骤

Step 1: 单变量分析

对每个变量进行单独分析

Step 2: 双变量分析

分析变量之间的关系

Step 3: 多变量分析

分析多个变量的联合效应

Step 4: 模式识别

识别数据中的模式和异常

Step 5: 生成报告

使用模板记录发现和洞察

---

常用分析方法

Stage 3: 研究假设生成 - 详细指南

目标

基于探索性分析的发现，生成可检验的研究假设，为后续验证提供方向。

---

假设类型

1. 相关性假设

• A 是否与 B 相关？
• 示例：配送时间是否与客户满意度相关？

2. 比较性假设

• A 组是否显著不同于 B 组？
• 示例：信用卡支付的订单金额是否更高？

3. 因果性假设

• A 是否导致 B？（需谨慎）
• 示例：促销活动是否导致销量增加？

---

优先级评估

---

实验设计要点

A/B 测试

• 明确对照组和实验组
• 确定样本量
• 选择衡量指标
• 设定显著性水平

观察性研究

• 控制混淆变量
• 使用匹配或分层
• 考虑因果推断的局限性

---

验证计划

1. 明确验证方法 2. 确定数据需求 3. 设定成功标准 4. 规划时间线

Stage 4: 数据可视化 - 详细指南

目标

用图表讲述数据故事，让发现和洞察更直观、更有说服力。

---

图表选择指南

---

可视化最佳实践

1. 清晰性

• 使用有意义的标题和标签
• 提供图例和说明
• 避免图表过载

2. 一致性

• 统一颜色方案
• 保持相同的比例尺
• 使用一致的标注风格

3. 可访问性

• 考虑色盲友好配色
• 提供替代文本

---

交互式仪表板

推荐工具

• Plotly/Dash
• Tableau
• Power BI
• Streamlit

仪表板组件

• 关键指标卡片
• 趋势图表
• 筛选器/控件
• 下钻功能

Stage 5: 代码生成 - 详细指南

目标

生成可复用、可维护的分析代码，便于复现和扩展。

---

代码组织原则

1. 模块化

• 将功能分解为独立的模块
• 每个模块有明确的职责
• 模块间低耦合高内聚

2. 可读性

• 有意义的变量和函数名
• 清晰的代码结构
• 必要的注释和文档

3. 可复用性

• 提取通用函数
• 参数化配置
• 提供使用示例

---

推荐模块结构

analysis_code/
├── data_preprocessing.py    # 数据预处理
├── quality_checks.py        # 质量检查
├── analysis_functions.py    # 分析函数
├── visualization.py         # 可视化
└── pipeline.py             # 完整分析管道

---

代码文档标准

函数文档

def function_name(param1, param2):
    """
    函数功能简要说明
    
    参数:
        param1 (类型): 参数1说明
        param2 (类型): 参数2说明
    
    返回:
        返回类型: 返回值说明
    
    示例:
        >>> function_name(val1, val2)
        结果
    """

---

依赖管理

使用 requirements.txt 或 pyproject.toml 管理依赖

Stage 6: 综合报告生成 - 详细指南

目标

汇总所有分析，提供清晰、有说服力的业务洞察和建议。

---

报告结构

1. 执行摘要

• 核心指标
• 关键发现
• 优先建议
• （写给忙碌的管理层）

2. 数据概述

• 数据来源
• 时间范围
• 数据质量回顾

3. 深度分析

• 分主题展示分析结果
• 每个主题：方法 + 发现 + 业务含义

4. 研究假设

• 假设验证结果
• 置信度评估

5. 业务建议

• 分短期/中期/长期
• 每条建议：理由 + 预期影响

6. 实验设计

• 优先建议的实验
• 设计方案

7. 风险与限制

• 分析局限性
• 业务风险

8. 结论与展望

• 主要结论
• 后续方向

---

受众适配

---

报告格式建议

Stage 1: 数据质量检查报告模板

生成时间: [YYYY-MM-DD HH:MM:SS] 数据集: [数据集名称]

---

1. 数据概述

---

2. 完整性检查

2.1 缺失值统计

2.2 完整性评分

完整性评分: [0-100]分

---

3. 唯一性检查

3.1 重复记录统计

• 总记录数: [数量]
• 唯一记录数: [数量]
• 重复记录数: [数量]

3.2 唯一性评分

唯一性评分: [0-100]分

---

4. 有效性检查

4.1 数据类型验证

4.2 范围验证

4.3 有效性评分

有效性评分: [0-100]分

---

5. 发现的问题

5.1 问题列表

---

6. 改进建议

6.1 数据清洗建议

1. [建议1] 2. [建议2]

6.2 数据收集建议

1. [建议1] 2. [建议2]

---

7. 总体质量评分

---

结论: [简要总结数据质量状态]

Stage 2: 探索性数据分析报告模板

生成时间: [YYYY-MM-DD HH:MM:SS] 数据集: [数据集名称]

---

1. 核心统计摘要

1.1 数值型变量统计

1.2 分类型变量统计

---

2. 发现的模式

2.1 时间趋势（如有时间列）

• [趋势发现1]
• [趋势发现2]

2.2 分布模式

• [分布发现1]
• [分布发现2]

2.3 周期性模式（如有）

• [周期性发现]

---

3. 相关性分析

3.1 主要相关性

3.2 关键洞察

• [相关洞察1]
• [相关洞察2]

---

4. 异常检测

4.1 发现的异常

4.2 处理建议

• [建议1]
• [建议2]

---

5. 关键洞察总结

1. [洞察1] 2. [洞察2] 3. [洞察3]

---

6. 下一步建议

• [下一步1]
• [下一步2]

Stage 3: 研究假设生成模板

生成时间: [YYYY-MM-DD HH:MM:SS] 数据集: [数据集名称]

---

1. 核心研究假设

H1: [假设标题]

• 描述: [假设描述]
• 类型: [相关性/比较性/因果性]
• 优先级: [高/中/低]
• 测试方法: [拟采用的统计测试]
• 业务影响: [业务价值]
• 可检验性: [是/否]

H2: [假设标题]

• 描述: [假设描述]
• 类型: [相关性/比较性/因果性]
• 优先级: [高/中/低]
• 测试方法: [拟采用的统计测试]
• 业务影响: [业务价值]

[继续添加更多假设...]

---

2. 假设优先级矩阵

---

3. 实验设计方案

3.1 A/B 测试设计（如适用）

假设: [Hx]

实验周期: [周期] 显著性水平: α = 0.05

3.2 其他实验设计

[其他实验方案...]

---

4. 验证计划

4.1 验证步骤

1. [步骤1] 2. [步骤2] 3. [步骤3]

4.2 数据需求

• [数据1]
• [数据2]

4.3 成功标准

• [标准1]
• [标准2]

---

5. 风险评估

---

6. 预期成果

• [成果1]
• [成果2]
• [成果3]

Stage 4: 数据可视化模板

生成时间: [YYYY-MM-DD HH:MM:SS] 数据集: [数据集名称]

---

1. 可视化清单

---

2. 关键可视化说明

2.1 [图表1名称]

图表类型: [类型] 目的: [说明] 关键发现:

• [发现1]
• [发现2]

2.2 [图表2名称]

图表类型: [类型] 目的: [说明] 关键发现:

• [发现1]

---

3. 交互式仪表板

3.1 仪表板概览

• 仪表板文件: [路径]
• 工具: [Plotly/Tableau/其他]
• 功能: [功能列表]

3.2 仪表板组件

1. [组件1] - [说明] 2. [组件2] - [说明]

---

4. 可视化最佳实践

4.1 颜色使用

• [最佳实践1]
• [最佳实践2]

4.2 标注说明

• [标注指南]

---

5. 数据故事

5.1 叙事流程

1. [步骤1] 2. [步骤2] 3. [步骤3]

5.2 关键信息

• [信息1]
• [信息2]

Stage 5: 代码生成模板

生成时间: [YYYY-MM-DD HH:MM:SS] 数据集: [数据集名称]

---

1. 代码文件清单

---

2. 核心功能模块

2.1 数据预处理模块

文件名: [文件名] 功能:

• [功能1]
• [功能2]

关键函数:

def [函数名](参数):
    """
    函数说明
    """
    # 代码...

2.2 数据质量检查模块

文件名: [文件名] 功能:

• [功能1]
• [功能2]

2.3 分析函数库

文件名: [文件名] 功能:

• [功能1]
• [功能2]

2.4 可视化模块

文件名: [文件名] 功能:

• [功能1]
• [功能2]

2.5 完整分析管道

文件名: [文件名] 功能:

• 端到端完整分析流程

---

3. 使用说明

3.1 安装依赖

pip install [依赖1] [依赖2]

3.2 快速开始

import [模块]

# 示例代码

3.3 完整流程

# Step 1: 加载数据
# Step 2: 数据清洗
# Step 3: 分析
# Step 4: 可视化
# Step 5: 报告

---

4. 依赖说明

---

5. 注意事项

• [注意1]
• [注意2]
• [注意3]

---

6. 扩展建议

• [建议1]
• [建议2]

Stage 6: 综合分析报告模板

生成时间: [YYYY-MM-DD HH:MM:SS] 数据集: [数据集名称]

---

1. 执行摘要

1.1 核心指标

1.2 关键发现

1. [发现1] 2. [发现2] 3. [发现3]

1.3 建议优先级

---

2. 数据概述

2.1 数据集信息

• 数据来源: [来源]
• 时间范围: [范围]
• 数据量: [数量]

2.2 数据质量回顾

• 总体质量评分: [分]
• 主要问题: [问题]

---

3. 深度分析

3.1 [分析主题1]

• 分析方法: [方法]
• 主要发现:
• [发现1]
• [发现2]
• 业务含义: [含义]

3.2 [分析主题2]

• 分析方法: [方法]
• 主要发现:
• [发现1]
• 业务含义: [含义]

---

4. 研究假设

4.1 假设验证结果

---

5. 业务建议

5.1 短期建议（< 3个月）

1. [建议1] - [理由] 2. [建议2] - [理由]

5.2 中期建议（3-12个月）

1. [建议1] - [理由] 2. [建议2] - [理由]

5.3 长期建议（> 12个月）

1. [建议1] - [理由]

---

6. 实验设计建议

6.1 优先实验

• 实验名称: [名称]
• 目标: [目标]
• 设计: [设计]
• 预期成果: [成果]

---

7. 风险与限制

7.1 分析限制

• [限制1]
• [限制2]

7.2 业务风险

• [风险1]
• [风险2]

---

8. 结论与展望

8.1 主要结论

• [结论1]
• [结论2]

8.2 后续分析方向

1. [方向1] 2. [方向2]

---

附录

附录A: 技术细节

[技术内容]

附录B: 数据字典

[数据字典]

附录C: 参考文献

[参考文献]