gpt-researcher
Science Score: 54.0%
This score indicates how likely this project is to be science-related based on various indicators:
-
✓CITATION.cff file
Found CITATION.cff file -
✓codemeta.json file
Found codemeta.json file -
✓.zenodo.json file
Found .zenodo.json file -
○DOI references
-
✓Academic publication links
Links to: arxiv.org -
○Academic email domains
-
○Institutional organization owner
-
○JOSS paper metadata
-
○Scientific vocabulary similarity
Low similarity (7.5%) to scientific vocabulary
Repository
Basic Info
- Host: GitHub
- Owner: dzrekenathan
- License: apache-2.0
- Language: Python
- Default Branch: main
- Size: 12.5 MB
Statistics
- Stars: 0
- Watchers: 1
- Forks: 0
- Open Issues: 6
- Releases: 0
Metadata Files
README-ja_JP.md
🔎 GPT Researcher
GPT Researcher は、さまざまなタスクに対する包括的なオンラインリサーチのために設計された自律エージェントです。
このエージェントは、詳細で事実に基づいた偏りのない研究レポートを生成することができ、関連するリソース、アウトライン、およびレッスンに焦点を当てるためのカスタマイズオプションを提供します。最近の Plan-and-Solve および RAG 論文に触発され、GPT Researcher は速度、決定論、および信頼性の問題に対処し、同期操作ではなく並列化されたエージェント作業を通じてより安定したパフォーマンスと高速化を提供します。
私たちの使命は、AIの力を活用して、個人や組織に正確で偏りのない事実に基づいた情報を提供することです。
なぜGPT Researcherなのか？
- 手動の研究タスクで客観的な結論を形成するには時間がかかることがあり、適切なリソースと情報を見つけるのに数週間かかることもあります。
- 現在のLLMは過去の情報に基づいて訓練されており、幻覚のリスクが高く、研究タスクにはほとんど役に立ちません。
- 現在のLLMは短いトークン出力に制限されており、長く詳細な研究レポート（2,000語以上）には不十分です。
- Web検索を可能にするサービス（ChatGPT + Webプラグインなど）は、限られたリソースとコンテンツのみを考慮し、場合によっては表面的で偏った回答をもたらします。
- Webソースの選択のみを使用すると、研究タスクの正しい結論を導く際にバイアスが生じる可能性があります。
アーキテクチャ
主なアイデアは、「プランナー」と「実行」エージェントを実行することであり、プランナーは研究する質問を生成し、実行エージェントは生成された各研究質問に基づいて最も関連性の高い情報を探します。最後に、プランナーはすべての関連情報をフィルタリングおよび集約し、研究レポートを作成します。
エージェントは、研究タスクを完了するために gpt-4o-mini と gpt-4o（128K コンテキスト）の両方を活用します。必要に応じてそれぞれを使用することでコストを最適化します。平均的な研究タスクは完了するのに約3分かかり、コストは約0.1ドルです。
詳細説明: * 研究クエリまたはタスクに基づいて特定のドメインエージェントを作成します。 * 研究タスクに対する客観的な意見を形成する一連の研究質問を生成します。 * 各研究質問に対して、与えられたタスクに関連する情報をオンラインリソースから収集するクローラーエージェントをトリガーします。 * 各収集されたリソースについて、関連情報に基づいて要約し、そのソースを追跡します。 * 最後に、すべての要約されたソースをフィルタリングおよび集約し、最終的な研究レポートを生成します。
デモ
https://github.com/assafelovic/gpt-researcher/assets/13554167/a00c89a6-a295-4dd0-b58d-098a31c40fda
チュートリアル
特徴
- 📝 研究、アウトライン、リソース、レッスンレポートを生成
- 🌐 各研究で20以上のWebソースを集約し、客観的で事実に基づいた結論を形成
- 🖥️ 使いやすいWebインターフェース（HTML/CSS/JS）を含む
- 🔍 JavaScriptサポート付きのWebソースをスクレイピング
- 📂 訪問および使用されたWebソースのコンテキストを追跡
- 📄 研究レポートをPDF、Wordなどにエクスポート
📖 ドキュメント
完全なドキュメントについては、こちらを参照してください：
- 入門（インストール、環境設定、簡単な例）
- 操作例（デモ、統合、dockerサポート）
- 参考資料（API完全ドキュメント）
- Tavilyアプリケーションインターフェースの統合（コア概念の高度な説明）
クイックスタート
ステップ 0 - Python 3.11 以降をインストールします。こちらを参照して、ステップバイステップのガイドを確認してください。
ステップ 1 - プロジェクトをダウンロードします
bash
$ git clone https://github.com/assafelovic/gpt-researcher.git
$ cd gpt-researcher
ステップ2 - 依存関係をインストールします
bash $ pip install -r requirements.txtステップ 3 - OpenAI キーと Tavily API キーを使用して .env ファイルを作成するか、直接エクスポートします
bash
$ export OPENAI_API_KEY={Your OpenAI API Key here}
bash
$ export TAVILY_API_KEY={Your Tavily API Key here}
- LLMには、OpenAI GPT を使用することをお勧めしますが、Langchain Adapter がサポートする他の LLM モデル（オープンソースを含む）を使用することもできます。llm モデルとプロバイダーを config/config.py で変更するだけです。このガイド に従って、LLM を Langchain と統合する方法を学んでください。
- 検索エンジンには、Tavily Search API（LLM 用に最適化されています）を使用することをお勧めしますが、他の検索エンジンを選択することもできます。config/config.py で検索プロバイダーを「duckduckgo」、「googleAPI」、「googleSerp」、「searchapi」、「searx」に変更するだけです。次に、config.py ファイルに対応する env API キーを追加します。
- 最適なパフォーマンスを得るために、OpenAI GPT モデルと Tavily Search API を使用することを強くお勧めします。
ステップ 4 - FastAPI を使用してエージェントを実行します
bash
$ uvicorn main:app --reload
ステップ 5 - 任意のブラウザで http://localhost:8000 にアクセスして、リサーチを楽しんでください！
Docker の使い方や機能とサービスの詳細については、ドキュメント ページをご覧ください。
🚀 貢献
私たちは貢献を大歓迎します！興味がある場合は、貢献 をご覧ください。
私たちのロードマップ ページを確認し、私たちの使命に参加することに興味がある場合は、Discord コミュニティ を通じてお問い合わせください。
✉️ サポート / お問い合わせ
- コミュニティディスカッション
- 私たちのメール: support@tavily.com
🛡 免責事項
このプロジェクト「GPT Researcher」は実験的なアプリケーションであり、明示または黙示のいかなる保証もなく「現状のまま」提供されます。私たちは学術目的のためにMITライセンスの下でコードを共有しています。ここに記載されている内容は学術的なアドバイスではなく、学術論文や研究論文での使用を推奨するものではありません。
私たちの客観的な研究主張に対する見解： 1. 私たちのスクレイピングシステムの主な目的は、不正確な事実を減らすことです。どうやって解決するのか？私たちがスクレイピングするサイトが多ければ多いほど、誤ったデータの可能性は低くなります。各研究で20の情報を収集し、それらがすべて間違っている可能性は非常に低いです。 2. 私たちの目標はバイアスを排除することではなく、可能な限りバイアスを減らすことです。私たちはここでコミュニティとして最も効果的な人間と機械の相互作用を探求しています。 3. 研究プロセスでは、人々も自分が研究しているトピックに対してすでに意見を持っているため、バイアスがかかりやすいです。このツールは多くの意見を収集し、偏った人が決して読まないであろう多様な見解を均等に説明します。
GPT-4 言語モデルの使用は、トークンの使用により高額な費用がかかる可能性があることに注意してください。このプロジェクトを利用することで、トークンの使用状況と関連する費用を監視および管理する責任があることを認めたことになります。OpenAI API の使用状況を定期的に確認し、予期しない料金が発生しないように必要な制限やアラートを設定することを強くお勧めします。
Owner
- Name: Dzreke-Poku Nathan
- Login: dzrekenathan
- Kind: user
- Location: Accra
- Company: Dzreke-Poku Nathan
- Website: https://www.linkedin.com/in/dzreke-poku-nathan-kodzo-139aab1bb/
- Twitter: techwithnate
- Repositories: 1
- Profile: https://github.com/dzrekenathan
I am Nathan :) engaged in programming activities and a top rated freelancer on Upwork.
Citation (citation.cff)
cff-version: 1.0.0
message: "If you use this software, please cite it as below."
authors:
- family-names: Elovic
given-names: Assaf
title: gpt-researcher
version: 0.5.4
date-released: 2023-07-23
repository-code: https://github.com/assafelovic/gpt-researcher
url: https://gptr.dev
GitHub Events
Total
- Delete event: 9
- Issue comment event: 8
- Push event: 1
- Pull request event: 18
- Create event: 15
Last Year
- Delete event: 9
- Issue comment event: 8
- Push event: 1
- Pull request event: 18
- Create event: 15
Issues and Pull Requests
Last synced: 6 months ago
All Time
- Total issues: 0
- Total pull requests: 18
- Average time to close issues: N/A
- Average time to close pull requests: 23 days
- Total issue authors: 0
- Total pull request authors: 1
- Average comments per issue: 0
- Average comments per pull request: 0.39
- Merged pull requests: 0
- Bot issues: 0
- Bot pull requests: 18
Past Year
- Issues: 0
- Pull requests: 18
- Average time to close issues: N/A
- Average time to close pull requests: 23 days
- Issue authors: 0
- Pull request authors: 1
- Average comments per issue: 0
- Average comments per pull request: 0.39
- Merged pull requests: 0
- Bot issues: 0
- Bot pull requests: 18
Top Authors
Issue Authors
Pull Request Authors
- dependabot[bot] (17)
Top Labels
Issue Labels
Pull Request Labels
Dependencies
- actions/checkout v3 composite
- docker/setup-buildx-action v2 composite
- docker/setup-qemu-action v2 composite
- gpt-researcher-install latest build
- install-browser latest build
- python 3.11.4-slim-bullseye build
- gptresearcher/gpt-researcher latest
- gptresearcher/gpt-researcher-tests latest
- gptresearcher/gptr-nextjs latest
- node 18.17.0-alpine build
- nginx latest build
- node 18.17.0-alpine build
- discord.js ^14.16.1
- dotenv ^16.4.5
- express ^4.17.1
- jsonrepair ^3.8.0
- nodemon ^3.1.4
- ws ^8.18.0
- ws ^8.18.0
- @docusaurus/core 0.0.0-4193
- @docusaurus/preset-classic 0.0.0-4193
- @easyops-cn/docusaurus-search-local ^0.21.1
- @mdx-js/react ^1.6.21
- @svgr/webpack ^5.5.0
- clsx ^1.1.1
- file-loader ^6.2.0
- hast-util-is-element 1.1.0
- minimatch 3.0.5
- react ^17.0.1
- react-dom ^17.0.1
- rehype-katex 4
- remark-math 3
- trim ^0.0.3
- url-loader ^4.1.1
- 1080 dependencies
- @types/jsdom ^21.1.6 development
- @types/node ^20 development
- @types/react ^18 development
- @types/react-dom ^18 development
- eslint ^8 development
- eslint-config-next 14.2.3 development
- postcss ^8 development
- prettier ^3.2.5 development
- prettier-plugin-tailwindcss ^0.6.0 development
- tailwindcss ^3.4.1 development
- typescript ^5 development
- @chakra-ui/react ^2.4.9
- @emotion/react ^11.10.5
- @emotion/styled ^11.10.5
- @langchain/langgraph-sdk ^0.0.1-rc.12
- @mozilla/readability ^0.5.0
- @next/third-parties ^15.1.6
- @testing-library/jest-dom ^5.16.5
- @testing-library/react ^13.4.0
- @testing-library/user-event ^13.5.0
- axios ^1.3.2
- eventsource-parser ^1.1.2
- framer-motion ^9.0.2
- jsdom ^24.1.0
- next 14.2.3
- next-plausible ^3.12.0
- react ^18
- react-dom ^18
- react-dropzone ^14.2.3
- react-ga4 ^2.1.0
- react-hot-toast ^2.4.1
- react-scripts 5.0.1
- remark ^15.0.1
- remark-html ^16.0.1
- remark-parse ^11.0.0
- together-ai ^0.6.0-alpha.3
- web-vitals ^2.1.4
- zod ^3.0.0
- zod-to-json-schema ^3.23.0
- @langchain/langgraph-sdk ^0.0.1-rc.13
- gpt_researcher *
- json5 *
- langgraph *
- langgraph-cli *
- loguru *
- python-dotenv *
- weasyprint *
- PyMuPDF >=1.23.6
- SQLAlchemy >=2.0.28
- aiofiles >=23.2.1
- arxiv >=2.0.0
- beautifulsoup4 >=4.12.2
- colorama >=0.4.6
- duckduckgo_search >=4.1.1
- fastapi >=0.104.1
- htmldocx ^0.0.6
- jinja2 >=3.1.2
- json-repair ^0.29.8
- json5 ^0.9.25
- langchain ^0.2
- langchain-openai ^0.1
- langchain_community ^0.2
- langgraph >=0.0.29,<0.3
- loguru ^0.7.2
- lxml >=4.9.2
- markdown >=3.5.1
- md2pdf >=1.0.1
- mistune ^3.0.2
- openai >=1.3.3
- permchain >=0.0.6
- pydantic >=2.5.1
- python >=3.11,<3.12
- python-docx ^1.1.0
- python-dotenv >=1.0.0
- python-multipart >=0.0.6
- pyyaml >=6.0.1
- requests >=2.31.0
- tavily-python >=0.2.8
- tiktoken >=0.7.0
- unstructured >=0.13,<0.16
- uvicorn >=0.24.0.post1
- websockets ^13.1
- PyMuPDF *
- aiofiles *
- arxiv *
- beautifulsoup4 *
- colorama *
- fastapi *
- gpt-researcher *
- htmldocx *
- jinja2 *
- json5 *
- json_repair *
- langchain *
- langchain-ollama *
- langchain-openai *
- langchain_community *
- langgraph *
- loguru *
- lxml_html_clean *
- markdown *
- md2pdf *
- mistune *
- pydantic *
- python-docx *
- python-dotenv *
- python-multipart *
- pyyaml *
- requests *
- tiktoken *
- unstructured *
- uvicorn *
- websockets *