Zapata M6 - Bilimsel Makale leme ve Atf Analizi Sistemi

Zapata M6, bilimsel makaleleri ileyerek temiz metin karan, atf zinciri analizi yapan, yapsal haritalama gerekletiren ve AI modelini eiten bir sistemdir.

Kurulum

1 Gereksinimler

• Python 3.9+
• Redis
  
• SQLite
  
• ChromaDB
  

2 Gerekli Paketleri Ykleyin

Aadaki komutu altrarak tm bamllklar ykleyin:

```bash pip install -r requirements.txt

imdi .env, requirements.txt ve README.md dosyalarn oluturuyorum.

Bu dosyalarda hangi ierikler olacak?
.env Programn tm yaplandrma ayarlarn ierir.
requirements.txt Tm bamllklar listeler ve kurulumu kolaylatrr.
README.md Zapata M6'nn nasl altn anlatr, kurulum ve kullanm ynergeleri ierir.

---

** .env Dosyas (Yaplandrma Ayarlar)**

```ini

Sistem Genel Ayarlar

RUNMODE=gui # altrma modu: gui veya console MAXWORKERS=4 # oklu ilem iin kullanlacak maksimum i parac says LOG_LEVEL=INFO # Loglama seviyesi (DEBUG, INFO, WARNING, ERROR)

Veritaban ve nbellek Ayarlar

SQLITEDBPATH=data/zapatam6.sqlite # SQLite veritaban dosyasnn yolu REDISHOST=localhost # Redis sunucusunun adresi REDISPORT=6379 # Redis sunucusunun portu REDISCACHE_EXPIRY=3600 # Rediste verinin ne kadar sre tutulaca (saniye)

ChromaDB Ayarlar

CHROMADBPATH=data/chromadb # ChromaDB dizini

Embedding Model Ayarlar

EMBEDDINGMODEL=bert # Varsaylan embedding modeli (bert, minilm, roberta) EMBEDDINGPARCA_DIR=data/embeddings # Embedding paralarnn sakland dizin

Yapsal Haritalama

MAP_DIR=data/maps # Yapsal ve bilimsel haritalarn sakland dizin

PDF leme Yntemleri

PDFTEXTEXTRACTIONMETHOD=pdfplumber # Alternatif: pdfminer, pymupdf TABLEEXTRACTION_METHOD=pymupdf # Alternatif: pdfplumber, pdfminer

Yapay Zeka Fine-Tuning Ayarlar

FINETUNEMODEL=bert-base-uncased FINETUNEBATCHSIZE=16 FINETUNEEPOCHS=3 FINETUNELR=2e-5 FINETUNEOUTPUTDIR=models/finetuned

Dosya Dizinleri

HEDEFDIZIN=data/cleantexts TEMIZTABLODIZIN=data/tables CITATIONSDIR=data/citations TEMIZKAYNAKCA_DIZIN=data/references ```

---

** requirements.txt Dosyas (Bamllk Listesi)**

txt torch==2.0.0 transformers==4.30.0 sentence-transformers==2.2.2 chromadb==0.3.26 redis==5.0.0 sqlite3 pdfplumber==0.7.5 pdfminer.six==20221105 pymupdf==1.22.3 customtkinter==5.1.3 networkx==3.1 matplotlib==3.7.1 scikit-learn==1.2.2 concurrent-log-handler==0.9.21

---

** README.md Dosyas (Kullanm Klavuzu)**

```md

Zapata M6 - Bilimsel Makale leme ve Atf Analizi Sistemi

Zapata M6, bilimsel makaleleri ileyerek temiz metin karan, atf zinciri analizi yapan, yapsal haritalama gerekletiren ve AI modelini eiten bir sistemdir.

Kurulum

1 Gereksinimler

• Python 3.9+
• Redis
  
• SQLite
  
• ChromaDB
  

2 Gerekli Paketleri Ykleyin

Aadaki komutu altrarak tm bamllklar ykleyin:

bash pip install -r requirements.txt

3 .env Dosyanz Yaplandrn

.env dosyanzda altrma modu (GUI/Konsol), veritaban yollar ve embedding modeli gibi ayarlar dzenleyin.

4 Program altrn

** GUI Modunda altrmak in:**
bash python main.py

** Konsol Modunda altrmak in:**
bash RUN_MODE=console python main.py

---

zellikler

1 PDF leme

• PDFlerden metin karma (pdfplumber, pdfminer, pymupdf destei)
  
• Stun dzenleme & tablo ayrtrma
  

2 Atf Analizi

• Makalelerdeki atflar kaynaklarla eletirme
  
• ChromaDBye atf verilerini kaydetme
  

3 AI Modeli Eitme

• Hugging Face Transformers ile fine-tuning
  
• Eitim verilerini SQLiteten alp AI modelini eitme
  

4 Grselletirme

• Atf an NetworkX ile interaktif grafik olarak gsterme
  
• Makale kmelerini renk kodlu grafiklerle grselletirme
  

---

Dizin Yaps

zapata_m6 data embeddings tables citations references clean_texts chromadb/ zapata_m6.sqlite models fine_tuned/ main.py configmodule.py pdfprocessing.py citationmappingmodule.py yapay_zeka_finetuning.py redisqueue.py rediscache.py sqlite_storage.py veri_isleme.py veri_gorsellestirme.py guimodule.py requirements.txt .env README.md

---

Desteklenen Veri Formatlar

Kaynaka Saklama Formatlar:
- RIS, BibTeX, CSV, VOS

Embedding Saklama:
- ChromaDB, SQLite, Redis

Temiz Metin Saklama:
- TXT, JSON, SQLite

Tablo Saklama:
- CSV

---

Gelitiriciler in Notlar

• Yeni AI modeli eklemek iin yapay_zeka_finetuning.py dosyasn gncelleyin.
  
• Yeni veritaban entegrasyonu iin sqlite_storage.py veya redisqueue.py iinde ilgili fonksiyonlar geniletin.
  
• GUI'yi zelletirmek iin guimodule.py iinde create_widgets() fonksiyonunu deitirin.
  

---

Zapata M6'nn son srmn kullann, bilimsel veriyi en iyi ekilde ileyin!
Sorularnz iin: support@zapataM6.com
```

---

Sonu:
.env dosyas tm yaplandrma ayarlarn ieriyor.
requirements.txt ile bamllklar kolayca yklenebiliyor.
README.md kapsaml bir kurulum ve kullanm klavuzu salyor.

Bunlar proje dizinine ekleyelim mi? Veya dzenlemek istediin bir ksm var m?

config modulu Bu modl, son 4 gn boyunca yaplan youn gncellemeleri ve entegrasyonlar ieriyor. Modlde:

Tm ayarlar .env dosyasndan okunuyor. alma modu (GUI/console) RUN_MODE ile belirleniyor. PDF ileme, embedding, citation mapping ve layout analiz ayarlar eklendi. Veritaban (SQLite ve Redis) ayarlar, ChromaDB entegrasyonu da yaplandrld. Gerekli dizinler otomatik oluturuluyor. Gelimi loglama (colorlog) yaplandrmas mevcut. Bu, Zapata M6'nn en gncel konfigrasyon modldr.

Yaplan Gncellemeler ve Deiiklikler 1 PDF Metin karma Gncellemeleri:

extracttextfrom_pdf() fonksiyonunda .env dosyasna bal olarak pdfplumber, pdfminer veya pymupdf seimi yapld. Daha nce sabit pdfplumber yntemi vard, imdi dinamik hale getirildi. PDFMiner ve PyMuPDF destei eklendi. 2 Tablo karma Gncellemeleri:

extracttablesfrom_pdf() fonksiyonuna pdfplumber, pymupdf ve pdfminer destei eklendi. nceden yalnzca pdfplumber kullanlyordu, imdi kullanc seimine gre alyor. PymuPDF, sayfa zerindeki tablo konumlarn alglayabiliyor. 3 Sayfa Dzeni Alglama (Layout Detection):

LayoutParser ve Detectron2 destei eklendi. detect_layout() fonksiyonu 4 farkl yntemi destekleyecek ekilde geniletildi: Regex (Varsaylan) PyMuPDF LayoutParser Detectron2 (Gelitirilecek) 4 Stunlar Tek Stuna ndirme (Reflow Columns):

reflowcolumns() fonksiyonu ok stunlu PDF'lerde metni dzenli hale getirmek iin optimize edildi. Satr boluklarn ve yanl blnmeleri dzelten algoritma gelitirildi. Regex yerine daha akll satr birletirme yntemi eklendi. Sonu: Metin ve tablo karma ilemleri artk daha esnek. Sayfa dzeni alglama (layout analysis) iin yeni yntemler eklendi. Stunlar dzgn birletiren reflowcolumns() fonksiyonu optimize edildi.

Yaplan Gncellemeler ve Deiiklikler 1 Zotero Kaynaka Getirme Gncellemeleri:

Zoterodan veri ekerken Redis nbellekleme destei eklendi. Zoteroya yaplan gereksiz API istekleri azaltld. Kaynakalar artk SQLite veritabanna da kaydediliyor. 2 DOI ile PDF ndirme:

Zoteroda PDF varsa oradan indiriliyor. Eer yoksa Sci-Hub zerinden PDF indirme destei eklendi. 3 Kaynakalar RIS & BibTeX Olarak Kaydetme:

Zotero kaynakalar .ris ve .bib uzantl dosyalara kaydedilebiliyor. RIS ve BibTeX format desteklendi. Sonu: Redis nbellekleme ile Zotero API arlar optimize edildi. DOI ile PDF indirme ve Sci-Hub entegrasyonu eklendi. Kaynakalar SQLite veritabanna ve RIS/BibTeX dosyalarna kaydediliyor.

Yaplan Gncellemeler ve Deiiklikler 1 oklu Embedding Modeli Destei:

OpenAI, Contriever ve Specter modelleri destekleniyor. .env dosyasndan model seimi yaplabiliyor. 2 ChromaDB ve Redis Entegrasyonu:

ChromaDB, embedding verilerini uzun vadeli saklamak iin kullanlyor. Redis, sk kullanlan embeddingleri nbellee alarak hzlandryor. 3 Embeddingler SQLitee de Kaydediliyor:

Daha nce sadece ChromaDBye kayt yaplyordu, artk SQLitee de ekleniyor. 4 oklu lem Destei Eklendi:

batchgenerateembeddings() fonksiyonu oklu ilem (multiprocessing) kullanarak embedding ilemlerini hzlandryor. Sonu: ChromaDB + SQLite + Redis entegrasyonu tamamland. oklu ilem destei eklendi. Alternatif embedding modelleri destekleniyor.

Yaplan Gncellemeler ve Deiiklikler 1 Yeni Embedding Modelleri:

Contriever (facebook/contriever) Specter (allenai/specter) MiniLM (sentence-transformers/all-MiniLM-L6-v2) .env dosyasndan model seimi yaplabiliyor. 2 ChromaDB ve Redis Entegrasyonu:

ChromaDB, embedding verilerini uzun vadeli saklamak iin kullanlyor. Redis, sk kullanlan embeddingleri nbellee alarak hzlandryor. 3 Embeddingler SQLitee de Kaydediliyor:

Daha nce sadece ChromaDBye kayt yaplyordu, artk SQLitee de ekleniyor. 4 oklu lem Destei Eklendi:

batchgenerateembeddings() fonksiyonu oklu ilem (multiprocessing) kullanarak embedding ilemlerini hzlandryor. Sonu: Contriever, Specter ve MiniLM modelleri destekleniyor. Embeddingler ChromaDB, Redis ve SQLitete saklanyor. oklu ilem destei eklendi.