Hy4のコンピュータ使用とは？画面操作AIが誤る理由

画像出典: ぱくたそ (© susi-paku)

画面を見て、マウスを動かし、ボタンを押す。人間が何も考えずにやっているこの一連の動きを、AIが代わりに行う機能が「コンピュータ使用(Computer Use)」です。Tencentは2026年11月4日、新フラッグシップモデル「Hy4」の正式版を発表し、Hunyuanシリーズとして初めて視覚理解とコンピュータ操作をネイティブに搭載しました。

正直なところ、この分野はまだ「できる」と「任せられる」の間に距離があります。何が新しくなったのかと、それでも誤操作が起きる理由の両方を知っておくと、自分の仕事のどこまで渡せるかの線が引けます。

Hy4のコンピュータ使用とは？何ができるのか

Hy4は総パラメータ770BのMixture-of-Experts(MoE／入力に応じて内部の一部の専門モジュールだけを動かす構造)モデルで、コンテキスト長は最大1Mトークンです。もともと2026年8月28日に「Hy4-preview」としてオープンソースで先行公開されており、11月4日の正式版でコンピュータ操作機能などが加わりました。

Hy4はマウス・キーボード操作によって画面を直接操作でき、コマンドライン操作とGUI(画面上のボタンやメニューを使う操作)の両方に対応します。この「両方」が地味に効きます。たとえばファイルの一括処理はコマンドラインのほうが速い一方、ソフトの設定画面はGUIしか入口がない、という場面は実務でよくあります。

訓練データの面では、BlenderやCAD(コンピュータ支援設計)ソフトといった専門ソフトウェアの操作が重点的に学習され、複数ステップの計画と実行を要する複雑なワークフローに対応する設計とされています。

設計の違いとして説明されているのは、ビジョン(視覚)の置き場所です。Tencentはビジョンをモデル本体の潜在空間に統合する設計を採用しており、別立てのビジョンエンコーダを後付けする方式ではなく、テキストと画像を統一的に推論できるとしています。画像を読む係を外付けするのではなく、文章を考える頭の中に視覚を同居させた、というイメージです。

なお、この技術的な設計の詳細について、Tencentが一次資料として公式に開示しているものは現時点で限定的です。

Hy4は今すぐ使えるのか？提供形態と期限

Hy4はTencentの自社AIコーディングツール「CodeBuddy」や業務アシスタント「WorkBuddy」とも連携します。提供条件には期限が設けられています。

どちらも期間が区切られているので、触って確かめたい場合は日付を見て計画を立てるほうが確実です。急ぐ必要はありませんが、無料枠は11月15日までという事実だけ頭に置いておくといいでしょう。

Hy4のベンチマークスコアはどうなっているのか？

画面操作の実力を測る指標としては、デスクトップ操作エージェントの代表的なベンチマーク「OSWorld」があります。2026年11月時点で公表されている集計値を、同じOSWorldの点数で並べると次のようになります。

benchlm.aiの公表データをもとに作成(2026年11月時点)

上の表の数点差が実務で何を意味するかというと、OSWorldは「指示されたデスクトップ操作タスクをやり切れたか」の達成率に近い指標なので、点差はおおむね「10回頼んで最後まで通る回数」の差として現れます。78.9点と81.8点の差は、10回のうち0〜1回ぶん多くやり直しが出るかどうか、という規模です。どのモデルを選んでも2割前後は人の手直しが入る前提で組むほうが現実に合います。

Hy4は12のベンチマークのうち単独1位は獲得していないものの、コード生成・3Dモデリング・検索・リサーチ系のタスクで強みを示すという分析です。なお、OSWorldを含むこれらの数値は第三者の比較サイトの集計値で、Tencentの技術レポートで確認できる値ではありません。

画面操作AIはなぜ誤操作するのか？

ここがいちばん知っておく価値のある部分です。画面操作AIの基本的な動き方は、スクリーンショットを撮る→画面を見て押す場所の座標を決める→マウス・キーボードを動かす、というループの繰り返しです。この構造そのものに、人間の操作とは違う弱点があります。

スクリーン状態ドリフト: 見た画面と押す画面がずれる

デスクトップエージェントの実測調査では、エージェントが画面を観察してから実際に操作するまでの平均ギャップが6.51秒ありました。人間ならボタンを見て押すまで一瞬ですが、AIは画面を撮り、考え、座標を出すまでに数秒かかります。

この6.51秒の間に、画面側は動き続けています。通知のポップアップが出る、遅延読み込みのリストが表示を終えて行がずれる、アニメーションが収束して位置が変わる、フォーカスが別のウィンドウに移る。結果として、エージェントが「見た画面」と「クリックが実際に着地する画面」は、座標系は同じでも中身が異なる別画面になります。これが「スクリーン状態ドリフト」と呼ばれる現象です。

知覚エラー: 画面の状態を読み違える

画面認識そのものの誤りも誤操作の一因です。モーダルウィンドウ(操作をいったん受け止める前面の小窓)が対象を覆っていることに気づかない、無効化されたボタンを有効だと誤認する、ページがまだ読み込み中であることを見落とす、といったパターンが挙げられています。人間が無意識に使っている「まだ読み込み中だから待とう」という判断は、見た目の手がかりだけからは意外と読み取りにくいのです。

UIデザイン変更への脆さ

エージェントは画面の見た目(レイアウトやボタン位置)を手がかりに動作します。そのため、サービス側がボタン配置を変えると、旧レイアウトを学習・記憶したエージェントは何もない場所をクリックしてしまいます。業務システムの画面更新が入った翌日に、昨日まで動いていた自動化が黙って空振りする、という形で表れます。

そもそも人間向けに設計された画面であること

多くの業務システムは「人間が操作する」前提で設計されており、非人間(AIエージェント)向けに操作フローが設計されていないことが、誤操作の温床になっているという指摘もあります。確認ダイアログの文言、タイミング依存の表示、押す順番の暗黙の前提。どれも人間が補ってきたものです。

学習データの側にも限界があります。静止画の個別スクリーンショットだけを学習しても、人間がなぜそのタイミングでカーソルを動かしたか、誤操作からどう立て直したか、という「操作の連続性(temporal continuity)」を学べません。動画ベースの学習が必要という指摘が出ているのはこのためです。

任せる前に、どこで止められるようにするか

画面操作AIを実際に動かすなら、走り出す前に「止められる地点」を用意しておくのが先です。エラーが出ないまま進む種類の失敗が起きるので、事後の確認だけでは間に合いません。

1. 操作対象を限定するまず作業用のアカウント・フォルダ・仮想環境など、取り返しのつく範囲だけを見せる。本番のファイル共有や社内システムに直接つながせない。
2. 破壊的な操作の手前に確認を挟む削除・上書き・送信・支払いの確定など、元に戻せない操作は自動実行の対象から外し、人間の承認を必要とする設定にする。この4種類は「成功したことになる」失敗の被害が最も大きい。
3. 権限は後から足す最初はファイルの読み取りと画面の閲覧だけを許可し、うまく回ることを確かめてから書き込みを足す。付与済みの権限をどこで外せるかを、動かす前に確認しておく。
4. 作業ログを残すどの画面でどこをクリックしたかの記録を残す。静かに通ってしまった誤操作は、後からログを辿るしか見つける方法がない。
5. 短く区切って動かす10ステップを一気に任せるより、3ステップごとに結果を見る。ドリフトは1操作ごとに起きるので、区切りが短いほど被害が浅い。

うまくいかなかったとき、どこを疑うか

画面操作を任せて失敗したとき、原因は大きく3つに分かれます。切り分けの順番を決めておくと、やり直しの回数が減ります。

失敗箇所が毎回同じなら指示か権限、毎回違うならタイミングか画面側。この一点だけでも、当てる場所がかなり絞れます。

結局、いま任せられるのはどこまでか

Hy4のように視覚とコンピュータ操作をネイティブに持つモデルが出てきたことで、「専門ソフトの操作を含む複数ステップの作業」が射程に入ってきたのは確かな前進です。一方、OSWorldのスコアが8割前後にとどまっていること自体が、現状をよく表しています。

向いているのは、間違っても元に戻せる作業です。資料の形式変換、画面からの情報の書き写し、同じ操作の繰り返し。逆に向いていないのは、送信・支払い・削除のように確定してしまう操作と、画面が頻繁に変わるサービスの操作です。

まずは無料期間や割引のあるうちに、戻せる作業ひとつで動きを眺めてみる。それだけでも、自分の仕事のどこに線を引けるかの感覚がつかめます。

よくある質問

Hy4のコンピュータ使用機能では何ができますか？

Tencentが2026年11月4日に正式版を発表したHy4は、マウス・キーボード操作によって画面を直接操作でき、コマンドライン操作とGUI操作の両方に対応します。BlenderやCADなどの専門ソフトウェアの操作が重点的に訓練されており、複数ステップの計画・実行を要する複雑なワークフローに対応する設計とされています。

Hy4はどのくらいの規模のモデルですか？

Hy4は総パラメータ770BのMixture-of-Experts(MoE)構造のモデルで、コンテキスト長は最大1Mトークンです。2026年8月28日に「Hy4-preview」としてオープンソース先行公開され、11月4日の正式版でコンピュータ操作機能などが追加されました。

画面操作AIが誤操作する最大の原因は何ですか？

デスクトップエージェントの実測調査では、画面を観察してから実際に操作するまでの平均ギャップが6.51秒ありました。この間に通知のポップアップ、遅延読み込みの完了、アニメーションの収束、フォーカス移動などが起き、見た画面と操作が着地する画面が別物になります。これはスクリーン状態ドリフトと呼ばれ、明確なエラーが出ないまま処理が進む「間違った成功」を生みます。

Hy4は無料で試せますか？

2026年11月4日から15日までは無料提供され、Tencent CloudのTokenHubでは2026年12月31日まで通常価格の50%オフで提供されるプロモーションが公表されています。いずれも期間が区切られています。

※記事で使用した内容・数値は変更される場合があります。最新情報は公式サイトをご確認ください。