MyData Pipeline

프로젝트 구조

데이터 및 실행 환경

``` /data/myPRAG/ └── baseline/ ├── corpus/ # 데이터 파일 │ ├── sampledchunks.jsonl │ ├── sampledchunkswithdoc.jsonl │ ├── sampledwikidoc.jsonl │ └── sampledembeddings.npy ├── errortype/ # 평가 기준 │ ├── checkacknowledge.txt │ ├── checkhallucination.txt │ ├── checkhelpful.txt │ └── checkviolation.txt ├── output/ # 결과 저장 │ ├── standard/ │ │ ├── kept.jsonl │ │ ├── faiss.index │ │ ├── embeddings.npy │ │ ├── genstandard{personaindex}.json │ │ └── evalstandard{personaindex}.json │ ├── cosineonly{personaindex}/ │ │ ├── kept.jsonl │ │ ├── faiss.index │ │ ├── embeddings.npy │ │ ├── gencosineonly{personaindex}.json │ │ └── evalcosineonly{personaindex}.json │ ├── naivep{personaindex}/ │ │ ├── kept.jsonl │ │ ├── faiss.index │ │ ├── embeddings.npy │ │ ├── gennaivep{personaindex}.json │ │ └── evalnaivep{personaindex}.json │ ├── indexingreport.csv │ ├── generationreport.csv │ └── evaluationreport.csv ├── prompt/ # 프롬프트 템플릿 │ ├── mydatageneration.txt │ ├── mydatallmfiltering.txt │ └── mydatallmsummarizing.txt └── finalpersona_tasks.json # Persona 태스크 정의

/home/ubuntu/changmin/Baseline/ # 소스 코드 ├── runvllm.sh # vLLM 서버 실행 스크립트 ├── mydataevaluation.py # 평가 모듈 ├── mydatageneration.py # 생성 모듈 ├── mydatamain.py # 메인 실행 파일 ├── mydataindexing.py # 인덱싱 모듈 └── mydatautils.py # 유틸리티 모듈 ```

환경 설정

vLLM 서버 실행

```bash

GPU 0,1을 사용하여 vLLM 서버 실행

./run_vllm.sh 0,1 ```

실행 방법

기본 실행

bash python mydata_main.py --method [METHOD] --persona_index [INDEX] --mode [MODE] --chunk_mode [CHUNK_MODE] --output_dir [OUTPUT_DIR]

멀티 GPU 실행

bash CUDA_VISIBLE_DEVICES=0,1 python mydata_main.py --method [METHOD] --persona_index [INDEX] --mode [MODE] --chunk_mode [CHUNK_MODE] --output_dir [OUTPUT_DIR] --use_multi_gpu

파라미터 설명

필수 파라미터

• --method: 실행할 방법 선택

  • naive_p: Naive Persona 방식
  • standard: Standard 방식
  • cosine_only: Cosine Only 방식
  • all: 모든 방식 순차 실행
  • 예시: --method naive_p 또는 --method all

• --persona_index: Persona 인덱스 선택

  • 0-9: 특정 Persona 인덱스
  • all: 모든 Persona 순차 실행
  • 예시: --persona_index 0 또는 --persona_index all

• --mode: 실행할 모드 선택

  • indexing: 인덱싱만 실행
  • generation: 생성만 실행
  • evaluation: 평가만 실행
  • all: 모든 모드 순차 실행
  • 예시: --mode indexing 또는 --mode all

• --chunk_mode: 청크 모드 선택

  • wodoc: 문서 정보 없는 청크 사용
  • wdoc: 문서 정보 포함된 청크 사용
  • 예시: --chunk_mode wodoc

• --output_dir: 출력 디렉토리 지정

  • 예시: --output_dir output_1

• --persona_task_file: 사용할 페르소나 데이터셋

  • 예시: --persona_task_file final_persona_tasks.json

• --emb_model_name: 사용할 임베딩 모델

  • 예시: --emb_model_name facebook/contriever

선택 파라미터

• --device: 사용할 GPU 디바이스 (기본값: "cuda:0")

  • 예시: --device cuda:0

• --use_multi_gpu: 멀티 GPU 사용 여부 (플래그)

  • 예시: --use_multi_gpu

실행 예시

단일 방법, 단일 Persona 실행

bash python mydata_main.py --method naive_p --persona_index 0 --mode all --chunk_mode wodoc --output_dir output_1

모든 방법, 모든 Persona 실행

bash python mydata_main.py --method all --persona_index all --mode all --chunk_mode wodoc --output_dir output_1

멀티 GPU로 실행

bash CUDA_VISIBLE_DEVICES=0,1 python mydata_main.py --method naive_p --persona_index all --mode all --chunk_mode wodoc --output_dir output_1 --use_multi_gpu

특정 모드만 실행

bash python mydata_main.py --method standard --persona_index all --mode indexing --chunk_mode wdoc --output_dir output_1