SKILL ARTICLE / huggingface-datasets
Hugging Face Dataset Viewerで必要な行だけ確かめる
大きなデータセットを、構成から少しずつ確かめる。
Hugging FaceのDataset Viewer APIを使い、データセットの構成、先頭行、検索結果、サイズ、統計を必要な範囲だけ読み取る公式Skillです。
OVERVIEW → CAN DO → BUILD
知ったことをSkillづくりに活かす
大きなデータセットを直接読み始めず、利用可否、subsetとsplit、代表行、検索結果、サイズを別々の読取APIで確かめる構成になっている。
一部の取得結果を全体と誤認せず、必要なデータと次の確認方法を決められる。
このSkillは、いきなり行データを要求せず、最初にdataset、config、splitを確定します。自分たちのSkillでも、対象名だけで処理を始めず、環境、版、対象範囲を先に解決すると、似た名前...
01 / OVERVIEW
Skillの概要
Hugging Face Dataset Viewerは、Hub上のデータセットをREST APIで調べるための公式サービスです。huggingface-datasets Skillの中心となる読取ワークフローは、まず /is-valid で利用できる機能を確認し、/splits でsubsetとsplitを確定してから、/first-rows や /rows で内容を少しずつ見る順番になっています。必要に応じて /search、/filter、/parquet、/size、/statistics も使います。
公式ドキュメントでは、/rows と /filter の1回のlengthは最大100です。/first-rows は応答が大きいと100行未満になったり、一部のセルが切り詰められたりします。また /rows、/search、/filter、/statistics はParquet exportの有無などに左右されます。公開データセットは認証なしでも調べられますが、gatedまたはprivateなデータセットには権限を持つtokenが必要です。
Skill本文の後半にはデータセットの作成・アップロードやagent traceの保存手順もあります。これらは読取専用の調査とは別の外部書き込みです。この記事では、Dataset Viewer APIを使った読取だけを紹介します。
02 / CAN DO
できるようになること
データセット全体を最初からダウンロードせず、利用可能なsubsetとsplit、列名と型、代表行、行数やサイズを順に確認できます。調べたい語や条件が決まっている場合は、対応するデータセットで検索・filterを使い、対象を絞ってから必要な行へ進めます。
ただし、先頭行や検索結果だけでデータセット全体の品質、偏り、ライセンス上の利用可否を判断することはできません。partialやtruncatedなどの応答状態、データセットカード、利用条件を別に確認し、完全な分析が必要ならParquetなど適切な取得方法へ切り替えます。
活かしやすい場面
- 学習・評価用データセットの列とsplitを事前確認する
- 大きな公開データセットから少数の例を探す
- 行数やサイズを見て取得方法を決める
使う前に確認したい場面
- 先頭行だけでデータセット全体の品質や偏りを断定する作業
- ライセンスや個人情報の利用可否をAPI応答だけで判断する作業
- 確認なしでprivateデータやagent traceを外部へアップロードする作業
03 / BUILD
自分たちのSkill作成に活かせること
文章やコードをそのまままねるのではなく、自分たちのSkillに取り入れたい判断基準や工程の分け方を整理しました。
識別子を確定してから内容を読む
このSkillは、いきなり行データを要求せず、最初にdataset、config、splitを確定します。自分たちのSkillでも、対象名だけで処理を始めず、環境、版、対象範囲を先に解決すると、似た名前の別対象を調べる誤りを減らせます。
小さな結果にも完全性の印を付ける
100行という上限やtruncated、partialを確認することで、取得できた一部を全体だと誤認しにくくなります。一覧や検索を扱うSkillでは、結果だけでなく、総件数、次の位置、切り詰め、失敗した範囲を同じ出力に含める設計が参考になります。
読む手順と書く手順を分ける
Skill本文には読取APIとアップロード手順の両方があります。自分たちのSkillでは、外部状態を変えない調査と、作成・更新・公開を別の段階にし、後者には対象、公開範囲、秘密情報の確認を置く必要があります。説明文でread-onlyと書くだけでなく、本文全体の権限境界をそろえることが大切です。
04 / WORKFLOW
実際に使うときの流れ
- 01
利用可否を確認
/is-valid と /splits で使える機能、config、splitを確定する。
- 02
小さく内容を読む
/first-rows または /rows で列と少数の行を取得し、truncatedやpartialも記録する。
- 03
目的に合わせて絞る
対応状況を確認して検索・filter・size・statisticsを使い、必要なら別の取得方法へ進む。
05 / TRY
試すときに使える依頼文
最初は、結果を自分で確かめやすい題材に使ってみてください。Skillがどこまで判断できるのか、どこで人の確認が必要なのかがわかります。
Hugging Face Dataset Viewer APIを読取専用で使い、この公開データセットを調べてください。最初に /is-valid と /splits で利用可能な機能、config、splitを確認し、次に /first-rows で列の型と少数の行を見てください。取得件数、truncated、partialを記録し、必要な場合だけ /search、/filter、/size、/statisticsへ進んでください。データの作成・更新・アップロードは行わず、データセット全体の品質や利用許諾は断定しないでください。06 / INSTALL
導入方法を確認する
コマンドや配置方法は更新されることがあります。実行する前に、公開元の最新READMEとライセンスを確認してください。
git clone --filter=blob:none --sparse https://github.com/huggingface/skills.git huggingface-skills
git -C huggingface-skills sparse-checkout set skills/huggingface-datasets
git -C huggingface-skills checkout --detach 32f8bb0928e95fc9d47ca9fbf69cbfbaf2bc2bda
test ! -e .agents/skills/huggingface-datasets
mkdir -p .agents/skills
cp -R huggingface-skills/skills/huggingface-datasets .agents/skills/huggingface-datasets07 / WATCHOUTS
人が確認するところ
- gatedまたはprivateなデータセットのtokenは、コマンド、記事、ログへ書かず安全な環境変数で扱ってください。
- 行データを共有・保存する前に、データセットカード、ライセンス、個人情報や機微情報の有無を確認してください。
- agent traceにはprompt、ファイルパス、tool出力、秘密情報、個人情報が含まれ得るため、この読取ワークフローではアップロードしません。