Litmus — 話題のニュースを、深く読み解く。 RSS
AI

GeminiがMacを操作、画面はそのまま使える

Googleが11月19日、Mac版Geminiに追加した「Computer use」。隔離ウィンドウで動くため、画面とカーソルは自分のまま色調補正やフォーム入力を任せられる。対象はGoogle AI Plus以上。

MacBookのキーボードを両手で操作している様子

イメージ写真 記事の内容を撮影したものではありません。Photo by ClickerHappy on Pexels

この記事には Amazon アソシエイトのリンクを含みます。

写真を一枚ずつ開いて同じ色調補正をかけ、終わったら次の一枚へ移る。PDFに書かれた重量や住所を、配送の見積もりフォームへ一つずつ打ち直す。手順は分かっているのに、数が多いだけで時間を取られる作業だ。Googleは2026年11月19日、GeminiアプリのMac版にこの手の作業を任せられる機能を追加した。名前は「Computer use」という。Let Gemini tackle repetitive chores on your Mac

気になるのは、Geminiが自分のMacを操作している間、自分はどうなるのかだ。自分は最初、画面を乗っ取られて、操作が終わるまで何もできなくなる場面を想像した。公式ブログを読む限り、そうはならない。メイン画面とマウスカーソルは完全に自分のものとして使ったまま、Geminiは別の場所で作業を進める設計になっている。何を任せられて、どういう仕組みで画面が分かれ、暴走を止める手立てがあり、自分のMacで今日から使えるのか。公式発表の記載から順に確かめる。

何をどこまで任せられるのか

Computer useを有効にすると、Geminiはローカルのファイル、デスクトップのアプリ、Webサイトをまたいだ複数の手順を代行する。クリック・文字入力・メニュー操作・フォーム入力まで含めて引き受ける。公式ブログは、してほしいことを伝えるだけで、クリックや入力、メニュー操作、フォーム入力をGeminiが引き受けると説明している。試しやすい使い方として挙げられている4つの例は次のとおりだ。同上

  • デザインソフトで写真をまとめて色調補正する、または複雑な3Dシーンを組み立てる。ヒーロー画像のキャプションには、子どもが描いた蝶のスケッチをモデル化し、Blenderでリグ付けする例が添えられている
  • ローカルのPDFから重量・寸法・住所を抜き出し、複数項目ある配送の見積もりフォームへ入力する
  • 複数地域のダッシュボードから指標やスクリーンショットを集め、Google スライドで資料にまとめる
  • ローカルフォルダにある衣類の写真を分析し、価格を調べ、商品情報を記録してフリマサイトへの出品を下書きまで進める

4つの例に共通するのは、同じ操作を数十回繰り返す作業か、複数の場所に散らばった情報を一箇所にまとめる作業であることだ。どちらも手順自体は単純だが、回数や情報源の数が増えるほど時間を取られる種類の作業になる。

自分が意外だったのは、Blenderのような専門ソフトを操作する例が、特別な準備なしに挙げられている点だ。OpenAIのGPT-6 Astraがデモで見せた3Dモデリングでは、BlenderをMCP(Model Context Protocol)でAIエージェントに接続する準備が要った。今回のComputer useは、Macアプリをダウンロードして有効にするだけで、同じ方向の作業に手を伸ばせる。

これだけの範囲をアプリ一つに任せるとなると、次に気になるのは自分のMacがどうなるかだ。

画面を乗っ取らない仕組み

ここでの鍵は、画面の使い方そのものにある。Geminiと使用者は、同じMacの画面の中で、別々の場所を使う。

Macの画面 使用者が操作 Geminiが操作

この図は、公式ブログが説明する「隔離されたバックグラウンドウィンドウ」の仕組みを図解した自作の模式図で、実際のGeminiアプリの画面そのものではない。公式ブログは、Geminiがこの隔離ウィンドウの中で動き、チャット画面にライブプレビューが表示されると説明している。メイン画面とカーソルは完全に自由なままなので、使用者は入力やデザイン、通話などの作業を中断せずに続けられるという。同上 図のとおり、使用者の領域とGeminiの領域は線で区切られた別の場所にある。つまり、Geminiは使用者の作業スペースを間借りするのではなく、隣に自分専用の作業スペースを持っていると考えればよい。

Computer useというモデルの能力そのものは、今回いきなり出てきたものではない。報道によると、Googleは2025年10月に開発者向けプレビューとして「Gemini 2.5 Computer Use model」を公開した。2026年6月には「Gemini 3.5 Flash」にもComputer useを統合していたという。Mac版Geminiに「Computer use」 PC作業をAIが代行 今回のMacアプリ向け機能は、この1年あまり開発者向けに提供してきたモデルの能力を仕立て直したものだ。設定なしで、一般の利用者がそのまま使えるようにした。

画面が分かれているとはいえ、Geminiが何を見て何を触っているかが分からなければ安心できない。次に確かめたいのは、暴走を止める手立てがあるかどうかだ。

暴走を止める手立てはあるのか

公式ブログは、使用者の制御を保つための仕組みを4つ挙げている。同上

  • Geminiがアクセスできるアプリを、使用者があらかじめ選べる。PDFや写真フォルダだけを任せるなら、関係のないアプリにはそもそも触れさせない設定にできる
  • 各ステップの実行中、ライブプレビューで確認できる。チャット画面に進行状況が映るので、何をクリックしているかを後から確認するのではなく、その場で見られる
  • 作業の途中、いつでも一時停止できる。想定と違う操作をしていると気づいた時点で止められる
  • 重要な操作の前には、実行前に使用者の承認を求める。フォームの送信や出品の確定のような取り消しにくい操作は、Geminiが単独で完了させない

この4つを見るかぎり、Geminiは「見えないところで全部終わらせる」設計ではなく、「見える場所で、都度確認を挟みながら進める」設計だと分かる。

ここまでで、何ができて、どう制御できるかが分かった。残るのは、自分のMacで今日から試せるかどうかだ。

自分のMacで今日から使えるか

公式ブログの脚注は、対象条件を次のように定めている。同上

  • Mac: Apple Siliconを搭載し、macOS Sequoia 15.0以降
  • アカウント: 18歳以上の個人のGoogleアカウント(無料プランは対象外)
  • 契約プラン: Google AI Plus・Pro・Ultraのいずれか
  • 提供範囲: 米国で英語版から順次提供。日本語版・日本国内での提供時期は記載なし

契約プランは、月額の安いPlusでも対象に入る。3つのプランは米国の表示でPlusが月4.99ドル、Proが19.99ドル、Ultraが99.99ドル以上になる。上位ほど利用上限とアクセスできるモデルが広がる仕組みだ。Google AI プラン一覧 今すぐ試したい場合は、この条件に自分が当てはまるかを先に確認したほうがいい。

まとめ

Mac版Geminiアプリに追加されたComputer useは、ローカルファイル・デスクトップアプリ・Webをまたいだ繰り返し作業を任せられる機能だ。クリックや入力、フォーム記入まで含めてGeminiが代行する。核になっているのは、Geminiが隔離されたバックグラウンドウィンドウの中だけで動くという設計だ。使用者のメイン画面とカーソルには手を触れないので、作業を任せながら自分の手も止めずに済む。アプリの選択、ライブ確認、一時停止、重要操作の承認という4つの仕組みで、任せた後も制御を手放さずに済む。

今のところ提供は米国の英語版からで、使うにはApple SiliconのMac(macOS Sequoia 15.0以降)と、Google AI Plus以上の契約が要る。条件に当てはまる人は、今日からダウンロードして試せる。

この記事の先を読む本を探す

特定の本を勧めるものではありません。検索結果から、いまの版と目次を確かめて選んでください。

コメント

気づきや感想をどうぞ

記事への補足や、読んで考えたことをお寄せください。個人情報や、他の人を傷つける内容の投稿はお控えください。

コメントを読み込んでいます…

    ほかの記事

    最新の記事 →