dahara1 commited on
Commit
fcaa81c
·
verified ·
1 Parent(s): 725cc85

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +187 -3
README.md CHANGED
@@ -1,3 +1,187 @@
1
- ---
2
- license: apache-2.0
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ language:
3
+ - ja
4
+ - en
5
+ license: apache-2.0
6
+ base_model: Qwen/Qwen3-0.6B
7
+ tags:
8
+ - japanese
9
+ - continual-learning
10
+ - sft
11
+ - rl
12
+ - quantized
13
+ - llama.cpp
14
+ - browser
15
+ pipeline_tag: text-generation
16
+ ---
17
+
18
+ # webbigdata/Qwen3-0.6B_WBD
19
+
20
+ Qwen3-0.6Bに継続学習を行い、日本語能力・推論能力・日常会話能力を強化した軽量日本語モデルです。
21
+ ブラウザやスマートフォン、エッジデバイスでの動作を主な目標として開発されました。
22
+ A lightweight Japanese-enhanced model based on Qwen3-0.6B with improved Japanese language ability, reasoning, and conversational capability.
23
+ It was developed with the primary goal of running on browsers, smartphones, and edge devices.
24
+
25
+ ---
26
+
27
+ ## ニュース / News
28
+
29
+ - **ブラウザデモ公開** ブラウザ上で完全動作するデモページを公開しています → **[webbigdata SLM Demo](https://webbigdata.jp/slm/)**
30
+ - **スマートフォン動作版公開** executorchを使った4bit量子化スマートフォン動作版を公開 → [dahara1/Qwen3-0.6B-executorch-jp](https://huggingface.co/dahara1/Qwen3-0.6B-executorch-jp)
31
+
32
+ ---
33
+
34
+ ## モデル概要 / Model Overview
35
+
36
+ | 項目 | 内容 |
37
+ |---|---|
38
+ | ベースモデル / Base Model | [Qwen/Qwen3-0.6B](https://huggingface.co/Qwen/Qwen3-0.6B) |
39
+ | パラメータ数 / Parameters | 約6億 (0.6B) |
40
+ | ライセンス / License | Apache 2.0 |
41
+ | 対応言語 / Languages | 日本語・英語 (Japanese / English) |
42
+ | 学習手法 / Training | SFT、RL、8bit量子化 |
43
+ | 開発者 / Developer | dahara1@webbigdata |
44
+
45
+ ---
46
+
47
+ ## 特徴 / Features
48
+
49
+ - **日本語能力の底上げ**:独自データによる継続学習により、日本語の語彙・知識・表現力を強化
50
+ - **推論能力の強化**:RLを用いた学習により、論理的な推論能力を向上
51
+ - **日本語日常会話能力の強化**:自然な日本語会話を目指した学習を実施
52
+ ※ 0.6Bモデルの性質上、複数ターンに及ぶ長い会話には限界があることが判明しています
53
+ - **ブラウザ・スマートフォン動作**:ブラウザでの完全動作を実現。スマートフォン向け4bit量子化版も提供
54
+
55
+ ---
56
+
57
+ ## ベンチマーク結果 / Benchmark Results
58
+
59
+ ### 日本語ベンチマーク / Japanese Benchmarks
60
+
61
+ | Model | JCommonsenseQA | JNLI | JSTS | JSQuAD | Average |
62
+ |---|---|---|---|---|---|
63
+ | Qwen3-0.6B-Q8_0(ベースライン)| 62.40% | 32.20% | 17.20% | 76.00% | 46.95% |
64
+ | **Qwen3-0.6B_WBD(本モデル)** | 59.60% | **72.60%** | **35.60%** | **82.00%** | **62.45%** |
65
+
66
+ JCommonsenseQAがわずかに低下した理由:知識・語彙が増えた結果、微妙なニュアンスで迷いが生じるケースが増えたためです。
67
+
68
+ ### M-IFEval(日本語命令追従能力)
69
+
70
+ | Model | prompt-level (strict) | instruction-level (strict) |
71
+ |---|---|---|
72
+ | Qwen3-0.6B-Q8_0 | 0.366 | 0.420 |
73
+ | **Qwen3-0.6B_WBD** | 0.238 | 0.314 |
74
+
75
+ M-IFEVALの低下について:評価セットには「英語以外の言語への翻訳」指示など、本モデルの想定用途外のタスクが含まれているため全体スコアが低下しています。
76
+ 日本語固有タスク(キーワード存在確認・文字数制約・numbered listなど)では競争力のある性能を示しています。
77
+
78
+ ---
79
+
80
+ ## デモ / Demo
81
+
82
+ ブラウザ上で本モデルを動かして試すことができます。インストール不要です。
83
+
84
+ 👉 **[https://webbigdata.jp/slm/](https://webbigdata.jp/slm/)**
85
+
86
+ ---
87
+
88
+ ## 動かし方 / How to Run
89
+
90
+ ### llama.cpp を使った方法
91
+
92
+ [llama.cpp](https://github.com/ggml-org/llama.cpp/releases) からお使いのハードウェア向けのパッケージをダウンロードしてください。
93
+ [Ollama](https://github.com/ollama/ollama) や [LM Studio](https://github.com/lmstudio-ai/lms) など、ggufファイルに対応したツールでも同様に動かすことができます。
94
+
95
+ #### CLIで動かす(Linux/Mac)
96
+
97
+ ```bash
98
+ ./llama-cli -hf webbigdata/Qwen3-0.6B_WBD --ctx-size 4096 --temp 0.7 --top-p 0.8 --top-k 20 --min-p 0.01 --repeat-penalty 1.05
99
+ ```
100
+
101
+ #### llama-server で起動してブラウザからアクセスする
102
+
103
+ ```bash
104
+ ./llama-server -hf webbigdata/Qwen3-0.6B_WBD --host 0.0.0.0 --port 8080 --ctx-size 4096 --temp 0.7 --top-p 0.8 --top-k 20 --min-p 0.01 --repeat-penalty 1.05
105
+ ```
106
+
107
+ ブラウザで `http://127.0.0.1:8080/` を開いてください。
108
+
109
+ #### Python スクリプトからアクセスする(OpenAI互換API)
110
+
111
+ ```python
112
+ from openai import OpenAI
113
+
114
+ client = OpenAI(
115
+ base_url="http://localhost:8080/v1",
116
+ api_key="dummy"
117
+ )
118
+
119
+ response = client.chat.completions.create(
120
+ model="Qwen3-0.6B_WBD",
121
+ messages=[
122
+ {"role": "system", "content": "あなたは親切なアシスタントです。"},
123
+ {"role": "user", "content": "こんにちは!"}
124
+ ],
125
+ stream=True
126
+ )
127
+ for chunk in response:
128
+ if chunk.choices[0].delta.content is not None:
129
+ print(chunk.choices[0].delta.content, end="", flush=True)
130
+ ```
131
+
132
+ ### Qwen3 推奨パラメーター設定 / Recommended Parameters
133
+
134
+ Qwen3はGreedy decoding(Temperature=0などの決定論的生成)を使用すると繰り返し生成などの不具合が起きやすいため、サンプリング(Temperature > 0)の使用を強く推奨します。
135
+
136
+ | パラメーター | 推奨値 |
137
+ |---|---|
138
+ | Temperature | 0.7 |
139
+ | Top_P | 0.8 |
140
+ | Top_K | 20 |
141
+ | Min_P | 0.01 |
142
+ | Repetition Penalty | 1.05 |
143
+
144
+ ---
145
+
146
+ ## 量子化バリアント / Quantized Variants
147
+
148
+ | バリアント | 説明 | リンク |
149
+ |---|---|---|
150
+ | executorch 4bit版 | スマートフォン向け動作用 | [dahara1/Qwen3-0.6B-executorch-jp](https://huggingface.co/dahara1/Qwen3-0.6B-executorch-jp) |
151
+
152
+ ---
153
+
154
+ ## 学習データ / Training Data
155
+
156
+ 独自に収集・作成したプライベートデータセットを使用しています。
157
+ Private datasets collected and created by webbigdata.
158
+
159
+ ---
160
+
161
+ ## 謝辞 / Acknowledgments
162
+
163
+ - [Qwen/Qwen3-0.6B](https://huggingface.co/Qwen/Qwen3-0.6B) — ベースモデル
164
+ - [Qwen/Qwen3-0.6B](https://huggingface.co/unsloth/Qwen3-0.6B) — プロンプトテンプレート
165
+ - [llama.cpp](https://github.com/ggml-org/llama.cpp) — 推論エンジン
166
+ - [wllama](https://github.com/ngxson/wllama) — WebAssembly
167
+ - [Hugging Face](https://huggingface.co/) — モデルホスティング
168
+
169
+ ---
170
+
171
+ ## 開発者 / Developer
172
+
173
+ - **Developed by:** dahara1@webbigdata
174
+ - **Model type:** Text Generation (Causal LM)
175
+ - **Language(s):** Japanese, English
176
+ - **Base Model:** [Qwen/Qwen3-0.6B](https://huggingface.co/Qwen/Qwen3-0.6B)
177
+ - **Demo:** [https://webbigdata.jp/slm/](https://webbigdata.jp/slm/)
178
+
179
+ ```bibtex
180
+ @misc{dahara2025Qwen3-0.6B_WBD,
181
+ author = {dahara1@webbigdata},
182
+ title = {Qwen3-0.6B_WBD - Japanese-Enhanced Continual Learning Model},
183
+ year = {2025},
184
+ howpublished = {\url{https://huggingface.co/webbigdata/Qwen3-0.6B_WBD}},
185
+ abstract = {A lightweight Japanese-enhanced model based on Qwen3-0.6B, designed to run in browsers and on smartphones.},
186
+ }
187
+ ```