AIスマホの量子化とは？4bitで精度が落ちる場面

画像出典: ぱくたそ (danda1s)

スマホのAI機能は、クラウドの大きなモデルをそのまま入れているわけではありません。手のひらサイズの端末に収まるよう、モデルを圧縮して積んでいます。その圧縮技術が「量子化」です。

正直なところ、ここを知らないまま買っても普段使いでは困りません。ただ、「同じAI機能なのに、込み入った頼みごとだけ妙に雑な答えが返る」という体験の理由は、だいたいこのbit数に行き当たります。買い替えの判断材料として、しくみと見分け方の両方を持っておくと、カタログの数字に振り回されずに選べます。

量子化とは？モデルを小さくする「目盛りを粗くする」圧縮

量子化とは、ニューラルネットワークの重み（パラメータ：学習で決まった無数の数値）を表現するビット数を減らし、モデルのサイズとメモリ帯域の使用量を削る圧縮技術です。計算の中身を変えるのではなく、数値を記録する桁の細かさを落とします。

イメージとしては、1mm刻みの定規を1cm刻みに替える作業に近いです。測れる範囲は同じまま、記録に必要な桁数が減るので持ち運びは軽くなります。代わりに、1mm単位の違いは記録から消えます。

圧縮率は素直にビット数で決まります。FP32（32bit）の重みをINT8（8bit）に変換すると理論上サイズは1/4、INT4（4bit）なら1/8です。実際の効果は大きく、70Bパラメータ級のモデルはフル精度（FP16/32）だと約140GBのメモリを要しますが、量子化で約40GBまで圧縮してノートPC級のメモリに収めた事例が解説されています。

スマホでAIが動くのは、チップが速くなったからというより、モデル側がこの桁の削減で端末のメモリに入るところまで小さくなったからです。

重み全体を一律には削らない「グループ量子化」

定規の目盛りを粗くすると誤差が出ます。そこで精度劣化を抑えるため、重み全体を一律に量子化するのではなく、小さなグループ単位でスケールファクター（目盛りの基準値）を持たせる「Group Quantization」が標準的に使われています。

重みの値がほぼ0付近に集まっているグループと、大きな値を含むグループでは、適切な目盛りの幅が違います。グループごとに基準値を分けておけば、それぞれに合った刻みで記録できる、という考え方です。

この削り方には2026年時点で何通りもの流儀があり、GPTQ や AWQ（どちらも学習済みモデルを後からビット数を落として変換する代表的な手法）、QLoRA（圧縮した状態のまま追加学習までこなす手法）のように名前が付いて使い分けられています。読者が目にする機会があるのは、圧縮済みモデルの保存形式であるGGUFで、ファイル名末尾の「Q4_K_M」「Q8_0」の数字がそのままビット数を表します。手元のパソコンでモデルを動かすときは、この数字が小さいほど軽く、代わりに粗い、と読めば十分です。

精度はどのくらい落ちる？落ち方はタスクで偏る

量子化の要点は、精度低下が全タスクに均等に効かないことです。ここを知っているかどうかで、スマホAIへの期待値の置き方が変わります。

Llama-3.1ファミリー全体で50万回以上の計測を行った研究によれば、8bit整数量子化による精度低下は1〜3%程度にとどまり、4bitでも推論タスクでは実用上十分な性能を維持できることが確認されています。そして同じ研究の整理では、精度損失は「数学の計算」や「正確な数値処理」で最も大きく現れやすく、一般的な会話・要約・文章生成では影響が比較的小さいとされています。

この偏りは、スマホ側の実装でもそのまま観察されています。Googleの Gemini Nano は各バージョンで4bit量子化を用いており、より大型のGeminiモデルから蒸留（大きなモデルの出力を教師にして小さなモデルを学習させる手法）して作られています。4bit量子化により、16bit浮動小数点表現と比べてストレージ・メモリ帯域の使用量はおおよそ4分の1になります。その代償として、パターン認識（文章補完など）は得意だが、複雑な論理推論や「思考の連鎖（答えを出す前に途中の考えを順に書き出す進め方）」を要するタスクは苦手になりやすいと指摘されています。

買い替えの観点に落とすと、通知の要約や文字起こしの整形を端末内で済ませたいなら4bitのオンデバイスモデルで十分期待できます。一方、経費の集計や複雑な条件分岐を含む相談をスマホのAIに任せたいなら、端末内処理ではなくクラウド側のモデルに投げる設計の機能かどうかを見る必要があります。

各社はどこまで削っているのか？Apple・Googleの公表値

同じ「オンデバイスAI」でも、削り方の設計は各社で違います。公表されている範囲で並べると、ビット数の選び方そのものが設計思想になっていることが見えてきます。

aiwiki.ai の Gemini Nano 解説およびApple Intelligence Foundation Language Models Tech Reportの公表データをもとに作成

Appleの設計で注目すべきは、全体を一律のビット数にしていない点です。オンデバイスモデルは Quantization-Aware Training（QAT、量子化を見込んで学習の段階から調整する手法）により2bit/重みまで圧縮し、埋め込みテーブル（単語の意味表現を格納する部分）は4bit/重み、KVキャッシュ（会話の文脈を保持するメモリ）は8bitで扱う「混合精度」になっています。

削っても壊れにくい部分は深く削り、文脈の保持のように誤差が溜まると会話が崩れる部分は8bitで残す、という配分です。さらにLoRAアダプタ（モデル本体を保ったまま用途別の小さな差分だけを追加学習する仕組み）を用いた枠組みでは、2bitと4bitを組み合わせて平均3.5bit/重み相当の構成とすることで、非圧縮モデルと同等の精度を維持する手法を開発しています。

速度面では、Talariaによる最適化を経て、iPhone 15 Proで約0.6ms（ミリ秒）のTime-to-First-Token（最初の1文字が返り始めるまでの時間）、秒間約30トークンの生成速度を達成したと報告されています。

チップ側の数値は何を表しているのか

端末側の処理能力も上がっています。Snapdragon 8 Elite Gen 5 は専用NPU上で56以上のAIモデルを5ミリ秒未満で実行できるとされ、2026年のフラッグシップ機はほぼすべて専用NPU（Neural Processing Unit、AI計算に特化した処理ユニット）を搭載するようになりました。価格帯は499ドルのPixel 9aから1,299ドルのGalaxy S26 Ultraまで広がっています。

ただし、ここで注意したいのはチップの速さとモデルの賢さが別の軸だということです。NPUが速くても、載っているモデルが4bitまで削られていれば、苦手なタスクは苦手なままです。逆に言えば、同じモデルでもビット数の設計が違えば答えの質は変わります。

スペック表では何が分からない？量子化の見分け方

カタログの「NPU ○○TOPS」「対応パラメータ数○○B」といった数値からは、実際にそのモデルが何bitに量子化されているか（4bitか2bitか混合精度か）は分からないことが多いのが実情です。パラメータ数が同じでも、4bitと8bitではメモリ占有量が倍違い、苦手分野の出方も変わります。

そこで、専門家の推奨をスマホ選びの手順に落とすと次の流れになります。

1. 公式の技術資料でビット数を確認するメーカー公式のモデルカードや技術レポートで、量子化のbit数とQATの有無を確認します。AppleはTech Reportで2bit/4bitの混合であることを明記しています。公表がない場合は「不明」として扱い、スペック表の数値から推測しないのが安全です。
2. 端末内処理とクラウド処理の切り分けを確認する同じAI機能でも、端末内で完結するものとサーバーに送るものが混在します。端末内で動く機能ほど量子化の影響を受けます。
3. ベンチマークスコアを単独で信じないPerplexity（パープレキシティ：次の語をどれだけ迷わず予測できたかを示す指標）はモデル品質を測る代表的な指標ですが、それ単体で実用品質を判断するのは不十分とされています。要約・翻訳・コード生成などタスクごとの評価指標と組み合わせる必要があります。
4. 店頭で込み入ったタスクを実際に試す生成系の微妙な劣化は自動スコアリングでは見逃されやすいため、実際に使ってみる定性的なチェックを組み合わせることが推奨されています。

店頭で試すなら、どんな指示を投げるか

最後の定性チェックが一番効きます。要約やメール下書きは4bitでも通りやすいので、差が出るのは苦手側のタスクです。

検算できる計算を選ぶのがポイントです。要約の良し悪しは主観で判断が割れますが、合計金額が合っているかは店頭でも即座に判定できます。

結果がいまひとつだったとき、原因はどこにあるのか

試して答えが雑だった場合、それが量子化のせいだとは限りません。切り分ける順に見ていきます。

1. 指示の書き方の問題か条件を1文に詰め込みすぎていないか確認します。条件を箇条書きに分けて再度投げ、答えが改善するなら指示文側の問題です。
2. 渡した情報の量の問題か長文を丸ごと渡していた場合、該当箇所だけを抜き出して渡し直します。これで正答するなら、モデルの推論力ではなく扱える文脈の長さの制約です。
3. 端末内処理の制約か機内モードやオフライン状態で同じ指示を試すと、端末内モデルだけの実力が見えます。通信ありで改善するなら、その機能はクラウド側に投げていた（＝オフラインでは量子化モデルの性能がそのまま出る）と判断できます。
4. モデル自体が苦手な領域か上の3つを通しても計算や多段の条件判断だけ崩れるなら、量子化による劣化が出やすい領域に当たっています。この用途は端末内AIに任せず、クラウド側のモデルや専用アプリに回すのが現実的です。

買い替えの判断軸としてどう使うか

量子化を理解すると、スマホAIの評価軸がひとつ増えます。「NPUが速いか」ではなく、自分が任せたい作業が、量子化で劣化しにくい側か・出やすい側かという軸です。

2026年前半時点のハイエンド市場は「iPhone 17」「Galaxy S25」「Pixel 10 Pro」が主力で、いずれも各社独自のAIチップ（NPU）を搭載しています。発売時期はGalaxy S25が2025年2月、Pixel 10 Proが2025年8月、iPhone 17が2025年9月で、価格帯はGalaxy S25が約10万円台、Pixel 10 Proが174,900円です。機能面では、Galaxyシリーズに着信時にAIが自動応答する機能や、通話をリアルタイム翻訳して画面表示する純正「通訳」アプリが搭載されています。

こうした通話の自動応答や翻訳は、パターン認識と短い言語変換が中心で、量子化に比較的強い用途です。店頭で確かめる価値があるのは、むしろ公表資料に載っていない「苦手側」の挙動の方です。

店頭の数分で試せることは限られますが、検算できる計算をひとつ投げるだけでも、カタログには出ない差は見えます。急いで決める必要はありません。自分が任せたい作業を1つ決めて、それを実際に試してから選べば十分です。

よくある質問

量子化とは何ですか？

量子化は、AIモデルの重み（パラメータ）を表現するビット数を減らし、モデルサイズとメモリ帯域の使用量を削減する圧縮技術です。FP32（32bit）の重みをINT8（8bit）に変換すると理論上サイズは1/4、INT4（4bit）なら1/8まで圧縮できます。これによりスマホやノートPCのメモリに収まるサイズになります。

4bitまで量子化すると精度はどのくらい落ちますか？

Llama-3.1ファミリー全体で50万回以上の計測を行った研究によれば、8bit整数量子化では精度低下は1〜3%程度にとどまり、4bitでも推論タスクでは実用上十分な性能を維持できることが確認されています。ただし精度損失は均等ではなく、数学の計算や正確な数値処理で最も大きく現れやすく、一般的な会話・要約・文章生成では影響が比較的小さいとされています。

スマホのスペック表から量子化のビット数は分かりますか？

多くの場合分かりません。「NPU ○○TOPS」「対応パラメータ数○○B」といったカタログ数値からは、実際にそのモデルが4bitか2bitか混合精度かは読み取れません。確認する方法は、メーカー公式のモデルカードや技術レポートを見ることです。AppleはTech Reportでオンデバイスモデルが2bit/重み、埋め込みテーブルは4bit/重みの混合精度であることを明記しています。

ベンチマークスコアだけでモデルの品質は判断できますか？

不十分とされています。Perplexityはモデル品質を測る代表的な指標ですが、それ単体で実用品質を判断することは専門家解説で不十分と指摘されており、要約・翻訳・コード生成などタスクごとの評価指標や、実際に使ってみる定性的なチェックを組み合わせる必要があります。生成系の微妙な劣化は自動スコアリングでは見逃されやすいためです。

※記事で使用した内容・数値は変更される場合があります。最新情報は公式サイトをご確認ください。