Data

Tools

Indexes

Applications

Experiments

Open Source Science

https://github.com/jser/dataset

JSer.infoのデータセットや処理ライブラリ

https://github.com/jser/dataset

Science Score: 26.0%

This score indicates how likely this project is to be science-related based on various indicators:

  • ○
    CITATION.cff file
  • ✓
    codemeta.json file
    Found codemeta.json file
  • ✓
    .zenodo.json file
    Found .zenodo.json file
  • ○
    DOI references
  • ○
    Academic publication links
  • ○
    Committers with academic emails
  • ○
    Institutional organization owner
  • ○
    JOSS paper metadata
  • ○
    Scientific vocabulary similarity
    Low similarity (8.3%) to scientific vocabulary

Keywords

api jser stat statistics
Last synced: 6 months ago · JSON representation

Repository

JSer.infoのデータセットや処理ライブラリ

Basic Info
  • Host: GitHub
  • Owner: jser
  • License: mit
  • Language: HTML
  • Default Branch: master
  • Homepage:
  • Size: 4.46 MB
Statistics
  • Stars: 5
  • Watchers: 3
  • Forks: 0
  • Open Issues: 4
  • Releases: 3
Topics
api jser stat statistics
Created almost 8 years ago · Last pushed 10 months ago
Metadata Files
Readme Changelog License

README.md

DataSet Actions Status: test

JSer.infoのデータセットをまとめたmonorepoです。

JSer.infoで収集しているデータや記事を書くために利用している統計ライブラリなどが公開されています。

データの種類

それぞれのデータはCreative Commons — Attribution 4.0 International — CC BY 4.0の元で利用できます。

  • Item: 紹介するサイトのこと
    • 1 Item = 1 サイト
    • すべてのデータのoriginとなるものです
    • サイトごとにタイトル、URL、登録した日付、タグなどが含まれています
    • API: https://jser.info/source-data/items.json
  • Post: JSer.infoに投稿される記事のこと
    • 1 Post = 1 記事
    • それぞれの記事のタイトル、URL、タグ、日付などが含まれます
    • @jser/statを使うことでItemとPostを元に指定したサイトが紹介された記事を検索できます
    • API: https://jser.info/posts.json
  • Post Item: JSer.infoに投稿された記事中のItem(サイト)のこと
    • 1 Post Item = 1 サイト
    • 基本的にはItemと同じだが、Post ItemはPost(記事)におけるカテゴリ（ヘッドラインなど）が含まれます
    • カテゴリの種類は @jser/post-parser を参照してください
    • Itemを元に投稿時に編集している場合などもあるため、ItemとPost Itemは必ずしも一致するわけではありません
    • 制限: カテゴリ区別が付けられたのは2014-08-03からであるため、それ以前のデータは含まれない
    • Postにはすべての記事は含まれるがPost Itemのデータは含まれていない
    • API: https://jser.info/public/data/post-details.json

データは個別だと扱いにくい場合などがあります。 また、時期によって特定のプロパティが欠損してる場合もあるため、後述する分析ライブラリなどのHigh LevelなAPIを利用することを推奨します。

@jser/data-fetcherでデータとして取得し、@jser/statなどの分析ライブラリに与えて利用するとある程度正規化されます。

統計データの閲覧やCSVデータの取得ならJSer.info Data Dashboardも利用できます。

Fetcher

@jser/data-fetcher を使うことでデータを取得できます。

ts import { fetchItems, fetchPostDetails, fetchPosts } from "@jser/data-fetcher"; // Item // https://github.com/jser/source-data await fetchItems(); // Post // https://github.com/jser/jser.github.io/blob/develop/posts.json await fetchPosts(); // Post Details include Post Item // https://github.com/jser/jser.github.io/blob/develop/_tools/generate-post-details-json.js await fetchPostDetails();

分析ライブラリ

@jser/classifier-item-category

JSer.infoの学習データを使い、渡した文字列がJSer.infoではどのカテゴリに分類されるかを推論します。 JSer.infoで記事を投稿する際のカテゴリ分類に利用しています。

@jser/stat

JSer.infoのデータを使った統計の前処理ライブラリです。 ItemとPostのデータを正規化し、指定した日付のItemの取得、Postの取得、関連する記事の検索などが行えます。

JSer.infoでは次のような場所で利用しています。

Changelog

See Releases page.

Running tests

pnpm install
pnpm test

Contributing

Pull requests and stars are always welcome.

For bugs and feature requests, please create an issue.

  1. Fork it!
  2. Create your feature branch: git checkout -b my-new-feature
  3. Commit your changes: git commit -am 'Add some feature'
  4. Push to the branch: git push origin my-new-feature
  5. Submit a pull request :D

Author

License

Code

MIT © azu

Dataset

CC-BY CC-BY

Owner

  • Name: JSer.info
  • Login: jser
  • Kind: organization
  • Email: info@jser.info
  • Location: Japan

JSer.info is JavaScript Weekly News Blog

GitHub Events

Total
  • Release event: 1
  • Watch event: 1
  • Delete event: 1
  • Issue comment event: 1
  • Push event: 10
  • Pull request event: 2
  • Create event: 1
Last Year
  • Release event: 1
  • Watch event: 1
  • Delete event: 1
  • Issue comment event: 1
  • Push event: 10
  • Pull request event: 2
  • Create event: 1

Committers

Last synced: almost 3 years ago

All Time
  • Total Commits: 273
  • Total Committers: 3
  • Avg Commits per committer: 91.0
  • Development Distribution Score (DDS): 0.11
Past Year
  • Commits: 9
  • Committers: 2
  • Avg Commits per committer: 4.5
  • Development Distribution Score (DDS): 0.222
Top Committers
Name Email Commits
azu a****o@g****m 243
dependabot[bot] 4****]@u****m 26
azu a****u@u****m 4

Issues and Pull Requests

Last synced: 6 months ago

All Time
  • Total issues: 2
  • Total pull requests: 46
  • Average time to close issues: about 2 years
  • Average time to close pull requests: about 2 months
  • Total issue authors: 1
  • Total pull request authors: 1
  • Average comments per issue: 1.5
  • Average comments per pull request: 0.78
  • Merged pull requests: 38
  • Bot issues: 0
  • Bot pull requests: 46
Past Year
  • Issues: 0
  • Pull requests: 3
  • Average time to close issues: N/A
  • Average time to close pull requests: about 6 hours
  • Issue authors: 0
  • Pull request authors: 1
  • Average comments per issue: 0
  • Average comments per pull request: 1.0
  • Merged pull requests: 3
  • Bot issues: 0
  • Bot pull requests: 3
View more stats
Top Authors
Issue Authors
  • azu (2)
Pull Request Authors
  • dependabot[bot] (54)
Top Labels
Issue Labels
Pull Request Labels
dependencies (54)

Dependencies

package.json npm
  • lerna ^4.0.0 development
  • lint-staged ^11.0.0 development
  • prettier ^2.3.2 development
packages/@jser/classifier-item-category/example/package.json npm
  • @jser/stat ^1.0.0
  • jser-classifier-item-category file:..
packages/@jser/classifier-item-category/package.json npm
  • @babel/cli ^7.0.0 development
  • @babel/core ^7.0.0 development
  • @babel/preset-env ^7.0.0 development
  • @babel/register ^7.0.0 development
  • @jser/data-fetcher ^1.2.1 development
  • babel-preset-jsdoc-to-assert ^5.0.0 development
  • mocha ^9.0.1 development
  • rimraf ^3.0.2 development
  • @jser/post-parser ^1.2.1
  • natural ^5.0.3
packages/@jser/data-fetcher/package.json npm
  • @types/mocha ^8.2.0 development
  • @types/node ^14.14.20 development
  • cross-env ^7.0.3 development
  • mocha ^9.0.1 development
  • prettier ^2.2.1 development
  • rimraf ^3.0.2 development
  • ts-node ^10.0.0 development
  • ts-node-test-register ^10.0.0 development
  • typescript ^4.1.3 development
  • cross-fetch ^3.1.5
packages/@jser/post-parser/package.json npm
  • @types/mocha ^8.2.0 development
  • @types/node ^14.14.20 development
  • cross-env ^7.0.3 development
  • lint-staged ^11.0.0 development
  • mocha ^9.0.1 development
  • power-assert ^1.6.1 development
  • prettier ^2.2.1 development
  • rimraf ^3.0.2 development
  • ts-node ^10.0.0 development
  • typescript ^4.1.3 development
  • @types/moment-timezone ^0.5.4
  • @types/url-join ^0.8.2
  • debug ^3.1.0
  • execall ^1.0.0
  • js-yaml ^3.11.0
  • lodash.difference ^4.5.0
  • moment ^2.22.0
  • moment-timezone ^0.5.16
  • remark ^9.0.0
  • remark-frontmatter ^1.2.0
  • remark-parse ^5.0.0
  • remark-parse-yaml ^0.0.1
  • unified ^6.1.6
  • unist-util-find-all-after ^1.0.1
  • unist-util-is ^2.1.1
  • unist-util-select ^1.5.0
  • url-join ^4.0.0
packages/@jser/stat/example/package.json npm
  • browserify ^12.0.1 development
  • @jser/stat file:..
packages/@jser/stat/package.json npm
  • @jser/data-fetcher ^1.2.1 development
  • @types/mocha ^8.2.0 development
  • @types/node ^14.14.20 development
  • cross-env ^7.0.3 development
  • lint-staged ^11.0.0 development
  • mocha ^9.0.1 development
  • power-assert ^1.6.1 development
  • prettier ^2.2.1 development
  • rimraf ^3.0.2 development
  • ts-node ^10.0.0 development
  • typescript ^4.1.3 development
  • binarysearch ^1.0.0
  • lodash.sortby ^4.7.0
  • natural ^5.0.2
  • request ^2.57.0
yarn.lock npm
  • 1025 dependencies
.github/workflows/test.yml actions
  • actions/checkout v2 composite
  • actions/setup-node v1 composite