Data Ingestion Platform

把合规采集、数据质量与外部 API 整合到同一套平台。

从数据源审查、robots 规则、排程预览、爬取模拟、去重比对到 Elasticsearch 索引模板,平台提供可审计的数据采集流程,并通过同一个子域提供官网、API 与网页版系统。

Core Delivery

三个入口,一套平台

官方介绍页、外部 API 教学与 React 网页系统已整合在同一个 IIS 站点,方便一般用户理解功能,也方便工程团队对接。

外部 API 对接仪表板

对外 API 对接

提供 health、catalog、source、job、run、simulate、parser rule、quality 与 compliance 端点,支持安全模拟与标准响应格式。

数据治理流程视觉图

数据治理流程

将来源审核、法律检查、排程预览、去重与质量规则放进同一个作业流程,降低数据采集风险。

网页版管理台画面

网页版系统

React 管理台提供来源、任务、执行状态、告警与 Elasticsearch 模板视图,供运营与技术人员共用。

公开 API12+涵盖状态、目录、模拟与治理
ES Templates10租户、来源、任务与记录索引
作业流程6审查、排程、采集、清理、告警、审计
单一子域1官网、API、文件与网页系统整合

Central Member Auth

会员登录已集中到 loginapi.sun-bd.com,本项目不保存会员账号密码。

用户完成集中会员 API 登录后,本平台只接收返回的 access token,并用 JWKS 验证 RS256 签章与 access token 类型。本项目不提供本地注册、登录、登出、密码修改或会员资料维护流程。

  • 所有受保护的平台 API 都以 Authorization: Bearer accessToken 验证集中会员身份。
  • React 与 WinForms 只使用集中会员 API 返回的 token,不保存账号或密码。
  • 登出、refresh 与权限查询通过集中会员 API 代理或验证流程完成。
集中会员验证后的平台管理画面