Now liveThe Skillselion MCP - thousands of ranked skills, loaded into your agent mid-task. No install.Get it →
volcengine avatar

Byted Emr Skills

volcengine/agentkit-samples

  • 2 installs
  • 408 repo stars
  • Updated August 3, 2026
  • volcengine/agentkit-samples

Manages Volcengine EMR big-data clusters, Serverless queues, compute groups, Spark/Presto/Ray jobs, logs, monitoring, and agent-based job diagnosis.

About

Manages Volcengine EMR (E-MapReduce) Hadoop-ecosystem clusters, Serverless queues, compute groups, job templates/instances, logs, and monitoring. A developer uses it to run and diagnose SparkSQL, PrestoSQL, Ray, PySpark, and SparkJar jobs on EMR.

  • Covers EMR on ECS/VKE clusters and Serverless queues, compute groups, and job instances
  • Includes EMR Agent smart diagnosis and knowledge Q&A for failed jobs

Byted Emr Skills by the numbers

  • 2 all-time installs (skills.sh)
  • Ranked #916 of 1,039 Cloud & Infrastructure skills by installs in the Skillselion catalog
  • Data as of Aug 4, 2026 (Skillselion catalog sync)
npx skills add https://github.com/volcengine/agentkit-samples --skill byted-emr-skills

Add your badge

Show developers this skill is listed on Skillselion. Paste this into your README.

Listed on Skillselion
Installs2
repo stars★ 408
Last updatedAugust 3, 2026
Repositoryvolcengine/agentkit-samples ↗

What it does

Manages Volcengine EMR big-data clusters, Serverless queues, compute groups, Spark/Presto/Ray jobs, logs, monitoring, and agent-based job diagnosis.

Files

SKILL.mdMarkdownGitHub ↗

EMR Skills

  • 何时使用（触发短语）
  • 当用户提出以下任何类似需求时，立即调用该技能：
  “查询EMR集群的服务列表”
  “重启Spark服务”
  “获取 EMR 作业日志”
  “查看EMR serverless队列列表”
  “查看EMR serverless队列详情”
  “使用 EMR Serverless 运行任务”
  “在 EMR 上提交一个 Spark 作业”
  “帮我诊断一下失败的 Spark 作业”
  “分析一下EMR作业失败的原因”
  • 任何涉及 EMR Serverless 作业/队列/计算组/监控/日志/诊断 的操作询问

功能清单

  • EMR Serverless
  • 队列：开通公共队列、队列列表查询、队列详情查询、队列下计算组列表查询
  • 队列权限：查询队列授权主体、为用户授予/修改队列权限
  • 计算组：创建/修改/启动/停止/删除、查询可选规格与镜像、外部元数据连通性测试
  • 作业模板：创建/更新/查询详情/列表查询/运行
  • 作业实例：提交（SparkSQL/PrestoSQL/SparkJar/PySpark/RayJob）、查询状态与详情、取消、获取 tracking url、获取提交日志与执行日志、列表查询、重跑、结果分批拉取
  • 监控：队列/计算组/作业监控数据查询，按指标清单逐项拉取并汇总报告
  • EMR Agent
  • 交互式诊断与知识问答
  • 会话与报告管理
  • EMR on ECS
  • 集群：查看集群详情、集群列表、更新集群属性
  • 节点组：列出节点组、更新节点组属性、节点列表、扩容节点组磁盘、更新节点组ECS规格
  • 服务：列出应用、组件列表、组件实例列表、执行应用操作
  • 服务配置：配置文件列表、配置文件详情、配置项列表、配置项修改历史列表、修改配置项
  • 操作审计：操作列表查询
  • 用户：创建集群用户、修改已创建用户信息、获取集群用户列表、获取用户详情、更新集群用户密码
  • 用户组：获取集群用户组列表、集群用户组详情、创建集群用户组、更新集群用户组
  • EMR on VKE
  • 集群：查看集群列表、集群详情
  • 服务（应用）：查看服务列表、服务组件实例、重启服务或组件实例、查看服务配置参数、修改服务配置参数
  • 操作日志：查看操作日志列表、操作日志详情

Initial Setup

环境变量配置

方式一：使用ARK_SKILL_API环境变量（推荐）

如果已配置以下环境变量，则无需配置火山引擎API凭证：

export ARK_SKILL_API_BASE="your-api-base-url"
export ARK_SKILL_API_KEY="your-api-key"

方式二：使用火山引擎API凭证

如果未配置ARK_SKILL_API环境变量，且需要使用serverless sdk能力或出现sdk报错，则需要配置火山引擎API凭证：

export VOLCENGINE_AK="your-access-key"
export VOLCENGINE_SK="your-secret-key"
export VOLCENGINE_REGION="cn-beijing"
  • 安装emr serverless sdk，调用scripts/bin/install_serverless_sdk.sh安装

How to manage EMR

1. EMR on Serverless管理

  • 针对全托管的 Serverless 形态，主要面向作业提交和资源队列管理。
  • OpenAPI 推荐使用命令行工具：python ./scripts/on_serverless/emr_serverless_cli.py --action <Action> --method <GET|POST> --query '<json>' --body '<json>'
  • Region 默认从环境变量 VOLCENGINE_REGION 读取（默认 cn-beijing）
  • Service/Version 会根据 Action 自动推断（需要时也可显式传 --service/--version）
  • 自定义 endpoint（如 LAS）可额外传 --endpoint las.cn-beijing.volcengineapi.com
  • 作业提交推荐使用命令行工具：python ./scripts/on_serverless/emr_serverless_submit_cli.py <sql|jar|pyspark|ray> ...

如何管理资源队列

  • 支持的功能列表
  • 队列列表：查看所有资源队列及其配置（如最大资源、当前使用量）, 必须使用OpenAPIListTagQueue查询队列列表。
  • 队列详情：获取队列的详细信息，包括绑定的网络、存储等, 必须使用OpenAPIGetQueue查询队列详情。
  • 队列监控：通过云监控接口获取队列近一天的资源使用率、作业数、失败作业数量等（需要云监控权限）。
  • 创建队列：一键创建公共队列, 必须使用OpenAPICreateQueueSilently或CreateOrderInOneStep创建队列。
  • 队列计算组列表：获取指定队列下的计算组（Queue Component）列表与详情，必须使用OpenAPIListQueueComponent查询队列计算组列表。
  • 所有的队列功能操作详情，请严格按照references/emr_serverless/queue/emr_serverless_queue_guide.md中的说明进行操作。

如何管理队列权限

  • 支持的功能列表
  • 获取队列权限列表：根据指定的队列，获取具有其权限的用户/用户组列表, 必须使用OpenAPIListAuthorizedPrincipalsForQueue查询队列权限列表。
  • 模糊搜索队列权限：根据用户名模糊查询用户列表，同时判断用户是否已经具有指定队列的权限，必须使用OpenAPIListIAMUsersWithQueueRole查询队列权限列表。
  • 添加用户权限：为用户授予指定数据对象的权限，必须使用OpenAPIGrantQueuePrivilege添加用户权限。
  • 修改用户的队列权限：修改用户对指定队列的权限, 必须使用OpenAPIAlterQueuePrivilege修改用户权限。
  • 所有的功能操作详情，请严格按照references/emr_serverless/privilege/emr_serverless_privilege_guide.md中的说明进行操作。

如何管理作业模板

  • 必须注意作业模板和作业实例的区别：
  • 作业模板：定义作业的通用配置，包括代码路径、参数、环境变量等。
  • 作业实例：基于作业模板创建的具体运行实例，包含作业 ID、运行参数、状态等。
  • 支持的作业模板功能列表
  • 创建作业模板：定义作业模板（包含代码路径、参数、环境配置等），必须使用OpenAPICreateJobDefinition创建作业模板。
  • 执行或运行作业模板：基于已有作业模板触发一次运行，必须使用OpenAPIRunJobDefinition执行作业模板。
  • 修改作业模板：修改作业模板（如执行资源、代码路径、入口命令等），但不影响已提交的作业实例，必须使用OpenAPIAlterJobDefinition修改作业模板。
  • 查询作业模板详情：获取作业模板的详细配置信息，必须使用OpenAPIGetJobDefinition查询作业模板详情。
  • 查询作业模板列表：获取所有已创建的作业模板列表，必须使用OpenAPIListJobDefinitions查询作业模板列表。
  • 所有作业模板（即作业定义）的详细操作指南，请严格按照references/emr_serverless/job/emr_serverless_job_guide.md中的说明进行操作。

如何管理作业实例

  • 作业实例功能列表
  • 提交作业：支持 SparkSQL、PrestoSQL、SparkJar、PySpark、RayJob 等类型；SparkJar/PySpark/RayJob 支持作业执行脚本使用本地路径（由 SDK 自动上传至 TOS，细节见作业实例指南）。
  • 查询作业实例：推荐使用 OpenAPI QueryGetJobV2 获取状态与详情。
  • 终止作业实例：OpenAPI QueryCancelQueryV2。
  • 获取作业日志：OpenAPI FetchDriverLog / QueryFetchSubmitLog（支持关键字过滤）。
  • 分批获取结果数据：对于 SQL 类作业，可通过OpenAPI QueryFetchResultsByBatch 分批获取结果
  • 获取 Tracking url：OpenAPI QueryGetTrackingURL。
  • 作业实例列表：OpenAPI ListJobInstances。
  • 所有作业实例的详细操作指南，请严格按照references/emr_serverless/job_instance/emr_serverless_job_instance_guide.md中的说明进行操作。

如何管理计算组（Serverless 资源单元）

  • 创建/修改计算组配置。
  • 查询计算组监控数据，支持监控总结和巡检。

如何查询操作日志

  • 功能列表
  • 全局操作日志页面以及队列、计算组的操作列表查询
  • 所有的操作日志查询，请严格按照references/emr_serverless/operation_audit/emr_serverless_operation_audit_guide.md中的说明进行操作。

如何查询队列、计算组、作业监控数据

  • 功能列表
  • 队列计算组作业监控数据查询：获取队列、计算组、作业的监控数据，包括 CPU 利用率、内存利用率、作业数、失败作业数量等，必须使用OpenAPIGetMetricData查询队列、计算组、作业监控数据。
  • 所有的队列计算组作业监控数据查询操作，请严格按照references/emr_serverless/monitor/emr_serverless_monitor_guide.md中的说明进行操作。

2. EMR Agent（EMR AI 助手）

如何进行交互式问题诊断和知识助手

  • 功能列表
  • 适用于所有 EMR 形态，提供交互式问题诊断和知识问答。
  • 计费说明
  • EMR控制台上EMR Agent目前是需要加白的，API调用暂不需要加白，可直接使用
  • 目前有有一定免费额度，后续根据使用情况计费。

如何管理诊断会话和报告管理

  • 功能列表
  • 报告列表：获取历史诊断报告列表。
  • 查看报告详情：获取已有报告内容。
  • 会话列表：获取分析诊断和问答历史会话列表。
  • 查看会话详情：获取会话的详细信息，包括问题描述、回答内容、会话状态等。
  • 所有分析诊断会话和报告操作，请严格按照references/emr_agent/emr_agent_guide.md中的说明进行操作。

3. EMR on ECS 集群管理

  • 支持对基于 ECS 的传统 Hadoop 集群进行全生命周期管理。

如何管理集群

  • 功能列表
  • 查看集群详情：获取集群基础信息、状态、计费类型、访问地址等，必须使用OpenAPIGetCluster查询集群详情。
  • 集群列表：按条件筛选、分页查询，必须使用OpenAPIListClusters查询集群列表。
  • 更新集群属性：修改集群名称、描述等，必须使用OpenAPIUpdateClusterAttribute更新集群属性。
  • 所有集群管理操作详情，请严格按照references/emr_on_ecs/cluster/emr_on_ecs_cluster_guide.md中的说明进行操作。

节点组管理

  • 功能列表
  • 列出节点组：查看集群内的节点组（如 Master、Core、Task）及其配置，必须使用OpenAPIListNodeGroups列出节点组列表。
  • 更新节点组属性：修改节点组名称、实例规格（支持升级）、磁盘扩容，必须使用OpenAPIUpdateNodeGroupAttribute更新节点组属性。
  • 节点列表：查看节点组内所有 ECS 实例的详细信息，必须使用OpenAPIListNodes查询节点组内所有节点实例的详细信息。
  • 扩容节点组磁盘：扩容指定节点组的磁盘容量，必须使用OpenAPIResizeNodeGroupDisk扩容节点组磁盘。
  • 更新节点组ECS规格：修改指定节点组的ECS实例规格，必须使用OpenAPIUpdateNodeGroupEcsSpec更新节点组ECS规格。
  • 所有节点组管理操作详情，请严格按照references/emr_on_ecs/node_group/emr_on_ecs_node_group_guide.md中的说明进行操作。

应用管理

  • 功能列表
  • 列出应用：查看集群已安装的大数据组件，必须使用OpenAPIListApplications列出应用列表。
  • 组件列表：查看每个服务的角色分布，必须使用OpenAPIListComponents列出组件列表。
  • 组件实例列表：查看每个组件的实例列表，必须使用OpenAPIListComponentInstances列出组件实例的实例列表。
  • 执行应用操作：对组件进行启动、停止、重启、滚动重启等操作，必须使用OpenAPIRunApplicationAction执行应用操作。
  • 所有应用管理操作详情，请严格按照references/emr_on_ecs/application/emr_on_ecs_application_guide.md中的说明进行操作。

应用配置管理

  • 功能列表
  • 配置文件列表：查看集群中指定应用的配置文件列表，必须使用OpenAPIListApplicationConfigFiles列出应用配置文件列表。
  • 配置文件详情：查看集群中指定应用的配置文件内容、修改时间等信息，必须使用OpenAPIGetApplicationConfigFile查询应用配置文件详情。
  • 配置项列表：查看集群中指定应用的配置项列表，包括配置项名称、当前值、默认值等信息，必须使用OpenAPIListApplicationConfigs列出应用配置项列表。
  • 配置项修改历史列表：查看集群中指定应用的配置项修改历史列表，必须使用OpenAPIListApplicationConfigHistories列出应用配置项修改历史列表。
  • 修改配置项：修改集群中指定应用的配置项值，必须使用OpenAPIUpdateApplicationConfig更新应用配置项。
  • 所有应用配置管理操作详情，请严格按照references/emr_on_ecs/application_config/emr_on_ecs_application_config_guide.md中的说明进行操作。

操作审计管理

  • 操作列表查询：查看集群中所有操作日志、支持分页查询，必须使用OpenAPIListOperations列出操作列表。
  • 所有操作审计管理操作详情，请严格按照references/emr_on_ecs/operation/emr_on_ecs_operation_guide.md中的说明进行操作。

用户管理

  • 功能列表
  • 创建集群用户：为集群新增用户，需指定用户名、密码等信息，必须使用OpenAPICreateClusterUser创建集群用户。
  • 修改已创建用户信息：修改指定集群中已存在用户的用户组或描述信息，必须使用OpenAPIUpdateClusterUser更新集群用户信息。
  • 获取集群用户列表：查询指定集群的用户信息列表，必须使用OpenAPIListClusterUsers列出集群用户列表。
  • 获取用户详情: 查询指定集群的详细用户信息，必须使用OpenAPIGetClusterUsers查询集群用户详情。
  • 更新集群用户密码：修改指定集群中已存在用户的登录密码，必须使用OpenAPIUpdateClusterUserPassword更新集群用户密码。
  • 所有用户管理操作详情，请严格按照references/emr_on_ecs/user/emr_on_ecs_user_guide.md中的说明进行操作。

用户组管理

  • 功能列表
  • 获取集群用户组列表: 查询指定集群的用户组信息列表，必须使用OpenAPIListClusterUserGroups列出集群用户组列表。
  • 集群用户组详情: 查询指定集群的详细用户组信息，必须使用OpenAPIGetClusterUserGroups查询集群用户组详情。
  • 创建集群用户组：为指定集群创建新的用户组，必须使用OpenAPICreateClusterUserGroup创建集群用户组。
  • 更新集群用户组：修改指定集群中已存在用户组的描述或成员信息，必须使用OpenAPIUpdateClusterUserGroup更新集群用户组。
  • 所有用户组管理操作详情，请严格按照references/emr_on_ecs/user_group/emr_on_ecs_user_group_guide.md中的说明进行操作。

EMR on VKE 集群管理

  • 所有集群管理操作详情，请严格按照references/emr_on_vke/emr_on_vke_guide.md中的说明进行操作。

Available Scripts

  • scripts/on_serverless/emr_serverless_manager.py：统一的 EMR Serverless OpenAPI 调用入口（manage_emr_serverless），用于队列/作业实例/计算组等运维类接口调用。
  • scripts/config/config.py: 封装EMR所用到的配置、SDK Client构造等。
  • scripts/emr_agent/expert.py：与 EMR Agent 交互，实现智能诊断和知识问答。
  • scripts/emr_agent/emr_agent_manager.py：获取EMR Agent的会话列表，报告列表等。
  • scripts/bin/install_serverless_sdk.sh：安装 EMR on Serverless 形态的 Python SDK，用于 Serverless 队列管理、作业提交等操作。
  • scripts/on_ecs/emr_on_ecs_manager.py：统一的 EMR on ECS 形态的 OpenAPI 调用入口（manage_emr_on_ecs），用于集群/节点组/应用等运维类接口调用。
  • scripts/on_ecs/emr_on_ecs_cli.py：EMR on ECS 形态的命令行工具，用于集群/节点组/应用等运维类接口调用。
  • scripts/on_vke/emr_on_vke_manager.py：EMR on VKE 形态 产品的管理脚本

References

  • references/emr_serverless/queue/emr_serverless_queue_guide.md：EMR on Serverless形态的资源队列详细管理操作指南
  • references/emr_serverless/job_instance/emr_serverless_job_instance_guide.md：EMR on Serverless形态的作业实例详细管理操作指南
  • references/emr_serverless/job/emr_serverless_job_guide.md: EMR on Serverless形态的作业模板（即作业定义）管理操作指南
  • references/emr_serverless/compute/emr_serverless_compute_guide.md: EMR on Serverless形态的计算组详细管理操作指南
  • references/emr_agent/emr_agent_guide.md：EMR Agent 详细操作指南，包括问题分析、获取历史会话、获取历史诊断报告等。
  • references/emr_on_ecs/cluster/emr_on_ecs_cluster_guide.md：EMR on ECS 集群管理操作指南，包括集群列表查询、集群详情查询、更新集群属性等。
  • references/emr_on_ecs/node_group/emr_on_ecs_node_group_guide.md：EMR on ECS 节点组管理操作指南，包括节点组列表查询、节点组详情查询、更新节点组属性等。
  • references/emr_on_ecs/application/emr_on_ecs_application_guide.md：EMR on ECS 应用管理操作指南，包括应用列表查询、组件列表查询、组件实例列表查询、执行应用操作等。
  • references/emr_on_ecs/application_config/emr_on_ecs_application_config_guide.md：EMR on ECS 应用配置管理操作指南，包括配置文件列表查询、配置文件详情查询、配置项列表查询、配置项修改历史列表查询、修改配置项等。
  • references/emr_on_ecs/operation/emr_on_ecs_operation_guide.md：EMR on ECS 操作审计管理操作指南，包括操作列表查询等。
  • references/emr_on_ecs/user/emr_on_ecs_user_guide.md：EMR on ECS 用户管理操作指南，包括创建用户、修改用户信息、查询用户列表、查询用户详情、更新用户密码等。
  • references/emr_on_ecs/group/emr_on_ecs_group_guide.md：EMR on ECS 用户组管理操作指南，包括查询用户组列表、查询用户组详情、创建用户组、更新用户组等。
  • references/emr_on_vke/emr_on_vke_guide.md：EMR on VKE集群管理操作指南。包括查询集群列表和详情、查询服务列表与详情、查询操作日志列表与详情、重启服务、查询和更新服务配置参数等。

Assets

  • assets/libs/python_serverless-1.*-py3-none-any.whl: EMR on Serverless 形态的 Python SDK 包，用于 EMR Serverless 作业提交等操作。
  • assets/emr-serverless-job-template.json：Serverless 作业提交模板，包含 PySpark 作业参数示例。

Requirements

  • 如果需要写临时文件（比如编写脚本、记录备忘录等），必须将文件放在./tmp文件夹下。
  • 当遇到作业、服务、集群失败或者用户有诊断需求的时候，必须优先使用EMR Agent的诊断功能，而不是自己去分析诊断。EMR Agent诊断需要消耗一定时间，应该等待其诊断完成，不要中途kill诊断任务
  • 不要去读取scripts下脚本的内容，按照guide文档的说明执行即可，除非你有必须读的理由（比如执行频繁遭遇失败需要排查问题或用户咨询实现细节等）
  • 当你通过python代码引入script下的包时，你需要将emr-skills的根目录加入path：sys.path.append(${emr_skill_root})
  • 当你通过python代码提交任务并等待完成时，你需要分为两个python脚本，先执行提交任务脚本，得到job_id后，再执行状态获取脚本；状态获取脚本不要在脚本内用While循环一直获取状态，而是应该仅获取一次状态，通过多次运行脚本持续获取状态

Related skills

microsoftAzure AiIntegrates Azure AI Content Safety, Document Intelligence, Speech, and Search services into Java-based agents and applications.495k1.3kmicrosoftAzure PrepareGenerate the exact Azure infrastructure files, Dockerfiles, and azure.yaml configuration needed before deploying any new or modernized application.494k1.3kmicrosoftAzure StorageConnect agents and applications to Azure Blob Storage, File Shares, Queues, Tables, and Data Lake without leaving the coding environment.494k1.3kmicrosoftAppinsights InstrumentationAutomatically instrument web applications running on Azure App Service with Application Insights for observability without manual configuration.493k1.3kmicrosoftAzure Resource LookupInstantly list, query, and discover any Azure resources across subscriptions without leaving the agent chat.493k1.3kmicrosoftAzure AigatewayConfigure Azure API Management as a secure, governed gateway for routing traffic to LLMs, MCP servers, and agent tools.493k1.3k
Cloud & Infrastructurepipelines
Browse by category
AI & AgentsFrontend & DesignBackend & DataDev ToolsAutomationTesting & ReviewSecurityMonitoring & CloudDocs & Planning
Design & frontend
Design systemsAnimation & motionAccessibility (a11y)CSS & TailwindUI designUXDesign to codeshadcn/uiLanding pagesBest design skills
Most searched skills
find-skillscavemanfrontend-designbrainstormingsystematic-debuggingstop-slopemil-design-engui-ux-pro-maxkarpathy-guidelinesweb-design-guidelinesreact-best-practicesgrill-meimprovemicrosoft-foundryagent-browser
Browse all listings
All agent skillsAll MCP serversAll marketplacesAll plugins

This week in AI coding

Five minutes, every Monday - the tools, releases and tactics for developers.

unsubscribe anytime.