跳至正文
Wener Notes

Data Awesome

约 5 分钟阅读
标签：资源精选

UID

  • DOI - Digital Object Identifier - 数字对象标识符
    • 学术论文、数据集、软件等数字对象的永久标识
    • doi.org
    • 10.1000/182 (前缀/后缀结构)
    • by International DOI Foundation (IDF)
  • ORCID - Open Researcher and Contributor ID - 开放研究者和贡献者标识符
    • 研究人员的唯一标识，解决同名问题
    • 0000-0000-0000-0000 (16位数字，每4位用连字符分隔)
    • 免费注册和使用、与多个学术平台集成、可关联研究成果、资助信息等
    • orcid.org
  • ISBN - International Standard Book Number - 国际标准书号
    • 图书的唯一标识
    • 包含国家/地区、出版社、书目和校验码信息
    • ISBN-13 (978-0-123456-78-9) 或 ISBN-10 (0-123456-78-9)
    • by International ISBN Agency
    • www.isbn-international.org
  • ISSN - International Standard Serial Number - 国际标准连续出版物号
    • 期刊、杂志、报纸等连续出版物标识
    • 不区分载体形式，同一刊物的印刷版和电子版有不同ISSN
    • by ISSN International Centre
    • www.issn.org
  • ISNI - International Standard Name Identifier - 国际标准名称标识符
    • 创作者、表演者、研究人员等公共身份的标识
    • 涵盖范围比ORCID更广，包括艺术家、作家等
    • 16位数字，通常以4位为一组显示
    • by ISNI International Agency
    • isni.org
  • ARK - Archival Resource Key
    • 开放标准，免费使用；支持版本控制和元数据访问；独立于特定技术平台
    • 数字资源的持久标识，特别适用于文化遗产机构
    • ark:/NAAN/Name (Name Assigning Authority Number/名称)
    • www.ark.org
  • Handle System
    • 字对象的分布式信息系统
    • DOI 底层所基于的技术、提供分布式解析服务、支持多种数据类型的标识
    • handle.net
  • IMDb ID - Internet Movie Database Identifier
    • 电影、电视剧、演员、导演等的标识
    • 标题: tt1234567 (tt + 7位数字)
    • 人员: nm1234567 (nm + 7位数字)
  • RFC - Request for Comments
    • IETF 和其他组织发布的技术文档标识符
    • 格式: RFC 1234
  • PMID - PubMed Identifier - PubMed 文献标识符
    • 生物医学与生命科学文献的唯一标识
    • 纯数字，例如 12345678
    • 解析示例: pubmed.ncbi.nlm.nih.gov/12345678
    • by U.S. National Library of Medicine (NLM)
  • arXiv ID - arXiv Identifier - 预印本文章标识符
    • 学术预印本与电子论文
    • 新式: yymm.nnnnn[vN]（如 2101.01234v2），旧式: archive/YYMMNNN
    • 解析示例:
    • by arXiv (Cornell University 运营，社区支持)
  • VIAF - Virtual International Authority File - 虚拟国际权威文件标识符
    • 人名、机构名、作品等规范数据的聚合标识
    • 纯数字，例如 113230702
    • 解析示例: viaf.org/viaf/113230702
    • by OCLC 与各国家/地区图书馆联合维护
  • Wikidata QID - Wikidata Item Identifier - 维基数据实体标识符
    • 各类实体项（人、地、组织、概念等）的唯一标识
    • 格式: Q + 数字，例如 Q42
    • 解析示例: www.wikidata.org/wiki/Q42
    • by Wikimedia Foundation
标识符适用范围格式费用持久性解析服务
DOI数字对象10.xxxx/xxxx付费高全球
ORCID研究人员0000-0000-0000-0000免费高全球
ISBN图书978-x-xxx-xxxxx-x付费高全球
ISSN期刊xxxx-xxxx付费高全球
ARK档案资源ark:/xxxxx/xxxx免费高分布式
Handle数字对象xxxx/xxxx付费高分布式
markdown
<!-- 在HTML中引用DOI -->

<a href="https://doi.org/10.1000/182">doi:10.1000/182</a>

<!-- 在学术引用中 -->

Author, A. (2023). Title. _Journal_, 1(1), 1-10. https://doi.org/10.1000/182

<!-- ORCID集成示例 -->
<a href="https://orcid.org/0000-0000-0000-0000">
  <img src="https://orcid.org/sites/default/files/images/orcid_16x16.png" alt="ORCID iD">
  0000-0000-0000-0000
</a>
  • UID - Unique Identifier
  • PID - Persistent Identifier

Crawler

ETL Pipeline

ML Pipeline

Workflow

Archive

Wayback Machine

Dataset

File Format

  • Parquet - 列格式
    • 压缩比、存储效率高
    • 支持嵌套数据结构
  • Avro - 行格式
  • ORC - Optimized Row Columnar
    • 记录额外索引信息
  • Arrow - 内存
    • 主要用于处理
  • CSV, TSV
  • JSON
  • JSONL - .jsonl, .ndjson
    • 每行一个 JSON

Misc

Tools

Extract

Understand

Online

Chinese

Datasets

bash
curl -N -H "Accept: text/event-stream" https://hacker-news.firebaseio.com/v0/updates.json

# {"path":"/","data":46411161}
curl -N -H "Accept: text/event-stream" https://hacker-news.firebaseio.com/v0/maxitem.json

gs://

markdown
| 描述                    | URL                                                                          |
| ----------------------- | ---------------------------------------------------------------------------- |
| 标志图片                | `gs://vis-demo-data/logodetec/google_logo.jpg`                               |
| 文本图片 (OCR测试)      | `gs://cloud-samples-data/vision/ocr/sign.jpg`                                |
| 花卉数据集 (CSV)        | `gs://cloud-samples-data/ai-platform/flowers/flowers.csv`                    |
| 花卉单张示例            | `gs://cloud-samples-data/ai-platform/flowers/daisy/100080546_50a45f3d71.jpg` |
| 手写数字 (MNIST)        | `gs://cloud-samples-data/vision/automl_classification/mnist/train-0.jpg`     |
| Landsat 卫星数据        | `gs://gcp-public-data-landsat/`                                              |
| Landsat 路径示例        | `gs://gcp-public-data-landsat/LC08/01/044/034/`                              |
| Open Images (COCO 镜像) | `gs://images.cocodataset.org/`                                               |
| Google Cloud 官方示例   | `gs://cloud-samples-data/`                                                   |
| 卫星影像 (Sentinel-2)   | `gs://gcp-public-data-sentinel-2/`                                           |
| 基因组数据              | `gs://genomics-public-data/`                                                 |
bash
gcloud storage ls -L gs://cloud-samples-data/

# 尝试下载到本地
gcloud storage cp gs://cloud-samples-data/vision/demo-img.jpg ./test.jpg

关联信息

反向链接、本文链接的其他页面和外部资料。

反向链接

  • 数据
    笔记 · Awesome

    Awesome · FAQ

参考资料

GitHub54 条
Wikipedia1 条
Hacker News3 条
HuggingFace4 条
标准文档1 条
其他外链29 条
最近更新commit 275e5a9编辑

Airbyte

上一页

数据泄漏

下一页