Instructions to use iRASC/Meerkat-Ko-8B-d6-w5-dpo with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use iRASC/Meerkat-Ko-8B-d6-w5-dpo with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="iRASC/Meerkat-Ko-8B-d6-w5-dpo")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("iRASC/Meerkat-Ko-8B-d6-w5-dpo")
model = AutoModelForCausalLM.from_pretrained("iRASC/Meerkat-Ko-8B-d6-w5-dpo")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use iRASC/Meerkat-Ko-8B-d6-w5-dpo with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "iRASC/Meerkat-Ko-8B-d6-w5-dpo"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "iRASC/Meerkat-Ko-8B-d6-w5-dpo",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/iRASC/Meerkat-Ko-8B-d6-w5-dpo

SGLang

How to use iRASC/Meerkat-Ko-8B-d6-w5-dpo with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "iRASC/Meerkat-Ko-8B-d6-w5-dpo" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "iRASC/Meerkat-Ko-8B-d6-w5-dpo",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "iRASC/Meerkat-Ko-8B-d6-w5-dpo" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "iRASC/Meerkat-Ko-8B-d6-w5-dpo",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use iRASC/Meerkat-Ko-8B-d6-w5-dpo with Docker Model Runner:
```
docker model run hf.co/iRASC/Meerkat-Ko-8B-d6-w5-dpo
```

iRASC/Meerkat-Ko-8B-d6-w5-dpo

이 모델은 iRASC/Llama-Ko-8B 모델 개발의 후속 연구로 진행되었습니다.

모델 설명

이 모델은 한국어 의료 질의응답(QA) 성능을 최적화하기 위해 개발된 대규모 언어 모델(LLM)입니다. 특히, 단일 소비자용 GPU(RTX 4090)와 같은 자원 제약 환경에서도 효율적으로 활용될 수 있도록 파라미터 효율적인 방법론을 적용하여 구축되었습니다.

본 모델은 다음과 같은 과정을 통해 생성되었습니다:

모델 병합(Model Merging): 영어 의료 특화 모델인 dmis-lab/llama-3-meerkat-8b-v1.0과 범용 한국어 모델인 beomi/Llama-3-Open-Ko-8B를 DARE (Drop and Rescale) 기법 (밀도 d=0.6)을 사용하여 병합하였습니다. 이를 통해 영어 의료 지식과 한국어 능력을 효과적으로 결합한 강력한 기반 모델을 구축했습니다.
직접 선호도 최적화 (Direct Preference Optimization, DPO): 생성된 병합 모델을 QLoRA (Quantized Low-Rank Adaptation) 방식으로 DPO 튜닝을 진행하여, 한국어 의료 QA 태스크(KorMedMCQA 데이터셋 기반)에 대한 성능을 더욱 향상시키고 모델을 정렬(Align)했습니다.

결과적으로, 이 모델은 제한된 자원 하에서도 한국어 의료 관련 질문에 대해 향상된 답변 능력을 보여주도록 최적화되었습니다.

자세한 학습 정보는 여기에서 확인할 수 있습니다

활용 목적 및 한계점

활용 목적

한국어 의료 질의응답: 한국어로 된 의료 관련 질문에 답변하는 데 활용될 수 있습니다.
의료 정보 검색 보조: 사용자의 의료 관련 정보 검색을 돕는 시스템의 백엔드로 사용될 수 있습니다.
의료 상담 챗봇 개발: 간단한 의료 상담이나 정보 제공을 위한 챗봇 개발의 기반 모델로 활용될 수 있습니다.
연구 목적: 자원 제약 환경에서의 LLM 튜닝, 모델 병합, DPO 등 관련 연구에 활용될 수 있습니다.

한계점 및 주의사항

전문 의료 진단 대체 불가: 이 모델은 전문 의료인의 진단이나 상담을 대체할 수 없습니다. 생성된 정보는 참고용으로만 사용해야 합니다.
정보의 정확성 및 최신성: 모델은 학습 데이터에 기반하여 답변을 생성하므로, 최신 의료 정보나 특정 희귀 질환 등에 대한 정보가 부정확하거나 누락될 수 있습니다.
환각 (Hallucination): 다른 LLM과 마찬가지로, 사실과 다르거나 관련 없는 정보를 생성하는 환각 현상이 발생할 수 있습니다. 중요한 정보는 반드시 교차 검증이 필요합니다.
편향성 (Bias): 학습 데이터에 내재된 편향이 모델의 답변에 영향을 미칠 수 있습니다.
KorMedMCQA 특화: DPO 튜닝이 KorMedMCQA 데이터셋 기반으로 이루어졌으므로, 해당 형식의 QA에는 강점을 보일 수 있으나 다른 형태의 의료 관련 태스크에서는 성능이 달라질 수 있습니다.

사용 방법

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "iRASC/Meerkat-Ko-8B-d6-w5-dpo"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

messages = [
    {"role": "system", "content": "당신은 의료 관련 질문에 답변하는 AI 어시스턴트입니다."},
    {"role": "user", "content": "콜레스테롤'이 정확히 무엇인가요? HDL과 LDL은 어떻게 다른가요? "}
]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=1000,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.7,
)
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))

Downloads last month: 4

Safetensors

Model size

8B params

Tensor type

BF16

Model tree for iRASC/Meerkat-Ko-8B-d6-w5-dpo

beomi/Llama-3-Open-Ko-8B

dmis-lab/llama-3-meerkat-8b-v1.0

Merge model

this model

iRASC
/

Meerkat-Ko-8B-d6-w5-dpo