(Updated on: 13 October 2024)

Benchmark on scb10x/thai_exam

(Updated on: 13 October 2024)

Licenses

• Built with Qwen
• Qwen License: Allow Research and

Sponsors

Supports

• Official website: https://openthaigpt.aieat.or.th
• Facebook page: https://web.facebook.com/groups/openthaigpt
• A Discord server for discussion and support here
• E-mail: [email protected]

Prompt Format

<|imstart|>system\n{sytemprompt}<|imend|>\n<|imstart|>user\n{prompt}<|imend|>\n<|imstart|>assistant\n

System prompt:

คุณคือผู้ช่วยตอบคำถามที่ฉลาดและซื่อสัตย์

Examples

#### Single Turn Conversation Example

<|imstart|>system\nคุณคือผู้ช่วยตอบคำถามที่ฉลาดและซื่อสัตย์<|imend|>\n<|imstart|>user\nสวัสดีครับ<|imend|>\n<|im_start|>assistant\n

#### Single Turn Conversation with Context (RAG) Example

<|imstart|>system\nคุณคือผู้ช่วยตอบคำถามที่ฉลาดและซื่อสัตย์<|imend|>\n<|imstart|>user\nกรุงเทพมหานคร เป็นเมืองหลวง นครและมหานครที่มีประชากรมากที่สุดของประเทศไทย กรุงเทพมหานครมีพื้นที่ทั้งหมด 1,568.737 ตร.กม. มีประชากรตามทะเบียนราษฎรกว่า 8 ล้านคน\nกรุงเทพมหานครมีพื้นที่เท่าไร่<|imend|>\n<|im_start|>assistant\n

#### Multi Turn Conversation Example

##### First turn

<|imstart|>system\nคุณคือผู้ช่วยตอบคำถามที่ฉลาดและซื่อสัตย์<|imend|>\n<|imstart|>user\nสวัสดีครับ<|imend|>\n<|im_start|>assistant\n

##### Second turn

<|imstart|>system\nคุณคือผู้ช่วยตอบคำถามที่ฉลาดและซื่อสัตย์<|imend|>\n<|imstart|>user\nสวัสดีครับ<|imend|>\n<|imstart|>assistant\nสวัสดีครับ ยินดีต้อนรับครับ คุณต้องการให้ฉันช่วยอะไรครับ?<|imend|>\n<|imstart|>user\nกรุงเทพมหานคร ชื่อเต็มยาวๆคืออะไร<|imend|>\n<|im_start|>assistant\n

##### Result

<|imstart|>system\nคุณคือผู้ช่วยตอบคำถามที่ฉลาดและซื่อสัตย์<|imend|>\n<|imstart|>user\nสวัสดีครับ<|imend|>\n<|imstart|>assistant\nสวัสดีครับ ยินดีต้อนรับครับ คุณต้องการให้ฉันช่วยอะไรครับ?<|imend|>\n<|imstart|>user\nกรุงเทพมหานคร ชื่อเต็มยาวๆคืออะไร<|imend|>\n<|im_start|>assistant\nชื่อเต็มของกรุงเทพมหานครคือ \"กรุงเทพมหานคร อมรรัตนโกสินทร์ มหินทรายุธยา มหาดิลกภพ นพรัตนราชธานีบูรีรมย์ อุดมราชนิเวศน์มหาสถาน อมรพิมานอวตารสถิต สักกะทัตติยวิษณุกรรมประสิทธิ์\"

How to use

Free API Service (hosted by Siam.Ai and Float16.cloud)

#### Siam.AI

curl https://api.aieat.or.th/v1/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer dummy" \
  -d '{
    "model": ".",
    "prompt": "<|imstart|>system\nคุณคือผู้ช่วยตอบคำถามที่ฉลาดและซื่อสัตย์<|imend|>\n<|imstart|>user\nกรุงเทพมหานครคืออะไร<|imend|>\n<|im_start|>assistant\n",
    "max_tokens": 512,
    "temperature": 0.7,
    "top_p": 0.8,
    "top_k": 40,
    "stop": ["<|im_end|>"]
  }'

#### Float16

curl -X POST https://api.float16.cloud/dedicate/78y8fJLuzE/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer float16-AG0F8yNce5s1DiXm1ujcNrTaZquEdaikLwhZBRhyZQNeS7Dv0X" \
  -d '{
    "model": "openthaigpt/openthaigpt1.5-7b-instruct",
    "messages": [
      {
        "role": "system",
        "content": "คุณคือผู้ช่วยตอบคำถามที่ฉลาดและซื่อสัตย์"
      },
      {
        "role": "user",
        "content": "สวัสดี"
      }
    ]
   }'

OpenAI Client Library (Hosted by VLLM, please see below.)

import openai

Configure OpenAI client to use vLLM server
openai.api_base = "http://127.0.0.1:8000/v1"
openai.api_key = "dummy"  # vLLM doesn't require a real API key

prompt = "<|imstart|>system\nคุณคือผู้ช่วยตอบคำถามที่ฉลาดและซื่อสัตย์<|imend|>\n<|imstart|>user\nกรุงเทพมหานครคืออะไร<|imend|>\n<|im_start|>assistant\n"

try:
    response = openai.Completion.create(
        model=".",  # Specify the model you're using with vLLM
        prompt=prompt,
        max_tokens=512,
        temperature=0.7,
        top_p=0.8,
        top_k=40,
        stop=["<|im_end|>"]
    )
    print("Generated Text:", response.choices[0].text)
except Exception as e:
    print("Error:", str(e))

Huggingface

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "openthaigpt/openthaigpt1.5-14b-instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.frompretrained(modelname)

prompt = "ประเทศไทยคืออะไร"
messages = [
    {"role": "system", "content": "คุณคือผู้ช่วยตอบคำถามที่ฉลาดและซื่อสัตย์"},
    {"role": "user", "content": prompt}
]
text = tokenizer.applychattemplate(
    messages,
    tokenize=False,
    addgenerationprompt=True
)
modelinputs = tokenizer([text], returntensors="pt").to(model.device)

generated_ids = model.generate(
    model_inputs,
    maxnewtokens=512
)
generated_ids = [
    outputids[len(inputids):] for inputids, outputids in zip(modelinputs.inputids, generated_ids)
]

response = tokenizer.batchdecode(generatedids, skipspecialtokens=True)[0]

vLLM

1. Install VLLM (https://github.com/vllm-project/vllm)
2. Run server

vllm serve openthaigpt/openthaigpt1.5-14b-instruct --tensor-parallel-size 4

1. Run inference (CURL example)

curl -X POST 'http://127.0.0.1:8000/v1/completions' \
-H 'Content-Type: application/json' \
-d '{
  "model": ".",
  "prompt": "<|imstart|>system\nคุณคือผู้ช่วยตอบคำถามที่ฉลาดและซื่อสัตย์<|imend|>\n<|imstart|>user\nสวัสดีครับ<|imend|>\n<|im_start|>assistant\n",
  "max_tokens": 512,
  "temperature": 0.7,
  "top_p": 0.8,
  "top_k": 40,
  "stop": ["<|im_end|>"]
}'

Processing Long Texts