【愚公系列】《数据可视化分析与实践》017-数据源(API数据源)

举报
愚公搬代码 发表于 2026/03/15 09:47:14 2026/03/15
【摘要】 💎【行业认证·权威头衔】✔ 华为云天团核心成员:特约编辑/云享专家/开发者专家/产品云测专家✔ 开发者社区全满贯:CSDN博客&商业化双料专家/阿里云签约作者/腾讯云内容共创官/掘金&亚马逊&51CTO顶级博主✔ 技术生态共建先锋:横跨鸿蒙、云计算、AI等前沿领域的技术布道者🏆【荣誉殿堂】🎖 连续三年蝉联"华为云十佳博主"(2022-2024)🎖 双冠加冕CSDN"年度博客之星TOP...

💎【行业认证·权威头衔】
✔ 华为云天团核心成员:特约编辑/云享专家/开发者专家/产品云测专家
✔ 开发者社区全满贯:CSDN博客&商业化双料专家/阿里云签约作者/腾讯云内容共创官/掘金&亚马逊&51CTO顶级博主
✔ 技术生态共建先锋:横跨鸿蒙、云计算、AI等前沿领域的技术布道者

🏆【荣誉殿堂】
🎖 连续三年蝉联"华为云十佳博主"(2022-2024)
🎖 双冠加冕CSDN"年度博客之星TOP2"(2022&2023)
🎖 十余个技术社区年度杰出贡献奖得主

📚【知识宝库】
覆盖全栈技术矩阵:
◾ 编程语言:.NET/Java/Python/Go/Node…
◾ 移动生态:HarmonyOS/iOS/Android/小程序
◾ 前沿领域:物联网/网络安全/大数据/AI/元宇宙
◾ 游戏开发:Unity3D引擎深度解析

🚀前言

在大数据时代背景下,随着数据量的迅猛增长和数据来源的多样化,管理混乱和数据孤岛已成为数据管理领域亟待解决的难题。DataEase 从统一数据源和跨源关联数据两方面提供了有效的解决方案,其方案主要包括数据源管理和数据集管理两大方面。本章将深入解析数据源功能,致力于打破数据管理的混乱状态,消除数据孤岛,为企业和组织提供更加高效、精准的数据支持,实现数据价值的最大化,提升业务决策的准确性和效率。

🚀一、API数据源

API(应用程序编程接口) 是一组预先定义的函数、协议和工具,其核心目的是为不同的软件应用或开发者提供一套标准化的交互方式。通过调用API,应用程序可以在无需了解对方内部复杂实现细节和源代码的情况下,安全、高效地请求数据或触发特定功能。在DataEase中,API数据源功能正是利用了这一特性,允许用户将外部系统、服务平台或互联网上的实时、动态数据直接接入分析平台,极大地扩展了数据来源的边界。

应用价值:对于那些无法通过传统数据库直接连接(如没有开放数据库接口)但提供了开放API的现代化应用和服务(如项目管理工具TAPD、代码托管平台GitHub、社交媒体、天气服务、金融数据接口等),API数据源成为了连接其数据与DataEase分析能力的唯一或最佳桥梁。通过接入这些数据,用户可以实现内外部数据的融合分析,获得更全面的业务洞察。

重要提示:DataEase的API数据源目前主要支持两种标准认证方式:

  • No Auth:无需认证,直接访问公开API。
  • Basic Auth:使用用户名和密码进行基础的HTTP认证。
    如果目标API采用更复杂的认证方式(如OAuth 2.0、API Key放在请求头、Bearer Token等),您可以通过在 “请求头” 参数中手动添加相应的认证信息(如 Authorization: Bearer your_tokenX-API-Key: your_key)来完成对接。

🔎1.API数据源配置完整流程

以下是在DataEase中创建并配置一个API数据源的详细步骤。

  1. 进入数据源管理模块

    • 登录DataEase系统后,在左侧导航栏点击【数据准备】,然后在弹出的子菜单中选择【数据源】,进入数据源管理列表界面(见图)。
      在这里插入图片描述
  2. 开始创建并选择数据源类型

    • 在数据源列表页面,点击【新建数据源】按钮(或“+”图标)。
    • 在数据源类型选择页面(见图6-22),点击【全部】标签进行浏览,或直接找到 【API数据】 分类。
    • 点击 【API】 图标,然后点击页面右下角的 【下一步】 按钮。

    图6-22 选择数据源类型(选择API)
    在这里插入图片描述

  3. 创建数据源并添加API数据表

    • 进入API数据源配置页面(见图6-23)。首先填写数据源的名称描述
    • API数据源的核心是配置具体的API接口(在DataEase中称为“数据表”)。一个API数据源可以包含多个不同的API接口(表)。点击 【添加】 按钮,开始配置第一个API接口。

    图6-23 API数据源初始配置与添加数据表
    在这里插入图片描述

  4. 配置API数据表基础信息

    • 在添加数据表页面(见图6-24),首先填写:
      • 名称:为该API接口起一个名字(如“GitHub Issues列表”)。
      • 请求方式:选择 GET(从服务器获取数据)或 POST(向服务器提交数据,通常用于带复杂查询条件的请求)。本例以GET请求为例。
      • 请求地址:填写完整的API端点URL。示例使用的是GitHub API,用于获取DataEase项目仓库的Issues列表:
        https://api.github.com/repos/dataease/dataease/issues?per_page=100

    图6-24 配置API数据表基础信息(请求方式与地址)
    在这里插入图片描述

  5. 配置请求参数与数据解析

    • 接下来配置请求参数,包括请求头、请求体和认证(见图6-25)。
    • 认证配置:根据目标API的要求选择。本例GitHub公开API无需认证,选择 No Auth 或不选择(默认即为No Auth)。
    • 关键设置:JsonPath
      • 是否指定JsonPath:这是解析API返回的JSON数据的关键。
        • 选择 【否】:DataEase将尝试自动解析返回的JSON结构,并允许您组合选择不同层级的字段。这对于结构清晰、标准的JSON响应非常方便,是推荐新手首先尝试的选项。
        • 选择 【是】:需要您手动输入JsonPath表达式来精确定位要提取的数据数组。这适用于返回结构非常复杂或嵌套很深的情况。
      • 本例中,我们选择 【否】,然后点击 【下一步】

    图6-25 配置请求参数与JsonPath解析方式
    在这里插入图片描述

  6. 提取与定义数据字段

    • 系统调用API并获取数据后,会进入数据提取页面(见图6-26)。页面会展示出自动解析出的字段列表。
    • 在此页面,您需要:
      1. 勾选所需字段:在左侧勾选您希望导入到数据表中的字段。
      2. 重命名字段:点击字段名可以将其修改为更符合业务习惯的名称(如将 user.login 重命名为 提交者)。
      3. 调整字段类型:确保字段类型(文本、数字、日期等)识别正确,如有误可手动修改。
    • 完成字段调整后,点击 【保存】 按钮,该API数据表即添加成功。

    图6-26 提取数据并定义字段
    在这里插入图片描述

  7. 预览并设置数据更新

    • 回到创建数据源页面,可以看到已添加的API数据表预览(见图6-27)。确认无误后点击 【下一步】
    • 进入数据更新设置页面(见图6-28)。这是API数据源的重要特性,用于设定数据的刷新策略:
      • 更新方式:可选择“定时同步”(定期自动调用API更新数据)或“手动更新”(仅在需要时手动触发)。
      • 更新频率:如果选择定时同步,可设置具体间隔(如每小时、每天)。
      • 其他高级设置:如超时时间、重试次数等。
    • 根据业务对数据实时性的要求进行设置,然后点击 【保存】

    图6-27 预览API数据表
    在这里插入图片描述

    图6-28 设置数据更新策略
    在这里插入图片描述

  8. 完成数据源创建

    • 在弹出的最终确认窗口中(见图6-29),可再次调整数据源名称和所属文件夹,点击 【确认】
    • API数据源创建成功(见图6-30)。您可以选择立即【去创建】数据集,或【返回数据源列表】。

    图6-29 确认新建数据源
    在这里插入图片描述

    图6-30 API数据源创建成功页面
    在这里插入图片描述

  9. 查看与管理API数据源

    • 在数据源列表中点击新创建的API数据源,进入详情页(见图6-31)。这里汇总了所有配置信息:基础信息、包含的数据表列表以及更新设置。
    • 切换到 【数据源表】 标签页(见图6-32),可以查看通过API具体获取到了哪些数据行,就像查看一张数据库表一样。

    图6-31 API数据源详情总览
    在这里插入图片描述

    图6-32 API数据源表内容预览
    在这里插入图片描述

关键要点与最佳实践总结

  1. 认证是前提:确保您拥有调用目标API的合法权限,并正确配置认证信息(无论是通过Basic Auth还是手动添加请求头)。
  2. 理解API响应结构:在配置前,最好先用 Postman 或浏览器开发者工具测试一下API,了解其返回的JSON数据结构,这对设置JsonPath和选择字段非常有帮助。
  3. 善用自动解析:对于大多数标准RESTful API,首先尝试让DataEase 自动解析(JsonPath选择“否”) ,这通常能快速获得所需字段。
  4. 合理设置更新频率:根据数据变化速度和API调用限制,设置合理的更新策略。过于频繁的调用可能被API提供方限制,也可能浪费系统资源。
  5. 字段优化:在提取数据步骤中,花时间做好字段的重命名类型校正,这会使后续的数据集创建和图表制作过程更加顺畅和准确。

通过成功配置API数据源,您已将DataEase的分析能力延伸至广阔的互联网数据生态中,为构建实时、内外部结合的数据分析仪表板奠定了坚实的基础。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。