コンピュータ操作¶
対応地域では、ChatGPT デスクトップアプリのコンピュータ操作を、macOS と Windows の Work モードおよび Codex で利用できます。コンピュータ操作プラグインをインストールしてください。macOS では、プロンプトが表示されたら画面収録とアクセシビリティの権限を許可してください。
コンピュータ操作を使用すると、ChatGPT は macOS または Windows のグラフィカルユーザーインターフェースを確認して操作できます。コマンドラインツールや構造化された統合では不十分なタスクに使用してください。たとえば、デスクトップアプリの確認、ブラウザーの使用、アプリ設定の変更、プラグインとして利用できないデータソースの操作、グラフィカルユーザーインターフェースでのみ発生するバグの再現などです。
コンピュータ操作は、プロジェクトのワークスペース外にあるアプリやシステムの状態に影響を与える可能性があります。そのため、対象を限定したタスクに使用し、続行する前に権限プロンプトを確認してください。
コンピュータ操作を設定する¶
ChatGPT デスクトップアプリで ChatGPT を選択して Work モードに切り替えるか、Codex を選択します。プラグイン > コンピュータ操作を開き、プロンプトが表示されたらプラグインをインストールを選択します。ChatGPT に有効化が表示された場合は、それを選択します。コンピュータ操作のサーバーとスキルのトグルをオンにしてから、今すぐ試すを選択して開始します。
次に、設定 > コンピュータ操作を開いてアプリへのアクセスを確認します。接続されたブラウザーのコントロールには管理アクションが表示されます。今後のタスクで承認したアプリは、常に許可するアプリセクションに表示されます。
Windows では、タスクの実行中、対象アプリをアクティブなデスクトップ上で表示したままにしてください。macOS では、プロンプトが表示されたら画面収録とアクセシビリティの権限を許可し、ChatGPT が対象アプリを確認して操作できるようにしてください。
macOS では、次の権限を許可してください。
- ChatGPT が対象アプリを確認できるように、画面収録の権限を許可します。
- ChatGPT がクリック、入力、ナビゲーションを実行できるように、アクセシビリティの権限を許可します。
コンピュータ操作を使用するタイミング¶
ファイルやコマンド出力だけでは確認が難しいグラフィカルユーザーインターフェースに依存するタスクでは、コンピュータ操作を選択してください。
適した用途には次のようなものがあります。
- ChatGPT が構築している macOS アプリ、Windows アプリ、iOS シミュレーターのフロー、その他のデスクトップアプリをテストする。
- Web ブラウザーが必要なタスクを実行する。
- グラフィカルインターフェースでのみ発生するバグを再現する。
- UI をクリックして進む必要があるアプリ設定を変更する。
- プラグイン経由では利用できないアプリやデータソースの情報を確認する。
- macOS で、他の作業を続けながら、対象を限定したタスクをバックグラウンドで実行する。
- 複数のアプリにまたがるワークフローを実行する。
ローカルで構築している Web アプリには、まず組み込みブラウザーを使用してください。
Windows でのフォアグラウンド使用¶
Windows では、コンピュータ操作はアクティブなデスクトップ上で実行されます。同じ Windows セッションを使い続けている間、バックグラウンドで操作することはできません。そのため、タスクの実行中は ChatGPT がポインターを移動し、入力を行い、フォアグラウンドを占有します。
離席中も Windows のタスクを継続する場合は、Windows デバイスのロックを解除したままインターネットに接続してください。スマートフォンからリモートコントロールを使用して進捗を確認したり、追加の指示を送ったりできます。または、ChatGPT デスクトップアプリを Windows 仮想マシン内で実行し、メインのデスクトップではなく VM をコンピュータ操作に引き継がせてください。
コンピュータ操作のタスクを開始する¶
プロンプトで @Computer または @AppName に言及するか、ChatGPT にコンピュータ操作を使用するよう依頼してください。ChatGPT が操作すべき正確なアプリ、ウィンドウ、またはフローを説明します。
Open the app with Computer Use, reproduce the onboarding bug, and fix the
smallest code path that causes it. After each change, run the same UI flow
again.
対象アプリが専用のプラグインまたは MCP サーバーを公開している場合は、データアクセスと反復可能な操作に、その構造化された統合を優先してください。ChatGPT がアプリを視覚的に確認または操作する必要がある場合は、コンピュータ操作を選択してください。
権限と承認¶
コンピュータ操作のシステム権限は、ChatGPT のアプリ承認とは別に管理されます。macOS では、画面収録とアクセシビリティの権限によって、ChatGPT がアプリを確認して操作できるようになります。アプリの承認では、ChatGPT に使用を許可するアプリを決定します。ファイルの読み取り、ファイルの編集、シェルコマンドは、引き続きタスクのサンドボックスと承認設定に従います。
コンピュータ操作では、ChatGPT は許可したアプリ内でのみ確認や操作を実行できます。タスク中、ChatGPT はコンピューター上のアプリを使用する前に許可を求めます。常に許可を選択すると、今後は確認なしで ChatGPT がそのアプリを使用できるようになります。ChatGPT デスクトップアプリの設定にあるコンピュータ操作セクションで、常に許可リストからアプリを削除できます。
ChatGPT は、機密性の高い操作や中断を伴う操作を実行する前に、許可を求める場合もあります。
ChatGPT がアプリを確認または操作できない場合は、システム設定 > プライバシーとセキュリティを開き、macOS の Codex Computer Use に対する画面収録とアクセシビリティを確認してください。Windows では、対象アプリがアクティブなデスクトップセッションに表示されていることを確認してください。
Windows では、コンピュータ操作によるアプリの決定が $CODEX_HOME/config.toml に保存されます。コンピュータ操作がプロンプトなしで開けるアプリを一覧表示します。
Windows のコンピュータ操作が報告するアプリ識別子を使用してください。デスクトップアプリの場合は実行可能ファイル名、パッケージ化されたアプリの場合はアプリユーザーモデル ID などです。リストにないアプリについては、ChatGPT がプロンプトを表示します。保存された決定を取り消すには、設定 > コンピュータ操作 > 常に許可からアプリを削除します。
このテーブルには、コンピュータ操作に関するローカルの決定が保存されます。管理者によって適用される requirements.toml とは別のものであり、管理者は [features].computer_use = false を使用してコンピュータ操作を無効にできます。以前の $CODEX_HOME/computer-use/config.toml の許可リストエントリは現在の設定に移行されますが、その denied リストは現在のポリシースキーマには含まれません。
ロック中の使用¶
ロック中の使用は macOS 向けです。Windows では、コンピュータ操作はフォアグラウンドで実行されます。
ロック中の使用を有効にすると、Mac がロックされた後でも ChatGPT がコンピュータ操作を使用できるようになります。ただし、事前に有効化する必要があります。接続されたデバイスからの ChatGPT タスクで、Mac のロック後にデスクトップアプリを使用する必要がある場合に利用してください。
ロック中の使用を有効にすると、ChatGPT は macOS のロック解除フローに関与する Apple の認証プラグインをインストールします。
ロック中の使用は、意図的に用途を限定しています。Mac の汎用的なリモートロック解除手段ではなく、他のアプリやローカルプロセスがコンピューターのロックを解除できるようにするものでもありません。
ロック中の使用を開始する手順は次のとおりです。
- アプリで設定 > コンピュータ操作を開きます。
- ロック中の使用を有効にします。
- Mac の画面がロックされた後、接続されたデバイスからコンピュータ操作を使用するタスクを開始します。
Mac がロックされた後に ChatGPT のタスクがコンピュータ操作経由でアプリにアクセスすると、ChatGPT はローカルでの使用をブロックし、ロック画面の保護を維持したまま、Mac のロックを一時的に解除します。ロックを解除する前に、ChatGPT はその解除の試みがアクティブで信頼されたコンピュータ操作のターンによるものかを確認します。この短時間のウィンドウ以外では、ChatGPT はロック解除を拒否し、必要に応じて手動でロックを解除するよう求めます。
ロック中の使用には、次の安全対策が含まれます。
- 認証ウィンドウは有効期間が短く、現在のロック解除の試みに限定されます。
- 自動ロック解除は、アクティブなコンピュータ操作のターン中に ChatGPT だけが利用できます。
- デスクトップが一時的にロック解除されている間、ChatGPT はすべてのディスプレイを覆います。
- ChatGPT がローカルのキーボード入力またはポインター入力を検出すると、Mac を再度ロックし、手動でロックを解除するまで自動ロック解除を一時停止します。
安全に関するガイダンス¶
コンピュータ操作を使用すると、ChatGPT は画面の内容を表示し、スクリーンショットを撮影し、対象アプリのウィンドウ、メニュー、キーボード入力、クリップボードの状態を操作できます。表示されているアプリの内容、ブラウザーのページ、スクリーンショット、対象アプリで開いたファイルは、タスクの実行中に ChatGPT が処理する可能性のあるコンテキストとして扱ってください。
タスクの対象を限定し、機密性の高いフローではその場にいてください。
- ChatGPT には、一度に 1 つの明確な対象アプリまたはフローを指示します。
- いつでもタスクを停止したり、コンピューターの操作を引き継いだりできます。
- タスクに必要でない限り、機密性の高いアプリは閉じておきます。
- Windows では、ChatGPT の作業中にフォアグラウンド入力を引き継ぐことに注意してください。自分でそのデスクトップを使用する前に、別のデバイスや VM を使用するか、タスクを停止してください。
- 機密情報が必要なタスクは、立ち会って各手順を承認できる場合を除き、避けてください。
- ChatGPT にアプリの使用を許可する前に、アプリの権限プロンプトを確認してください。
- 常に許可は、今後 ChatGPT が自動的に使用しても信頼できるアプリに対してのみ使用してください。
- アカウント、セキュリティ、プライバシー、ネットワーク、支払い、認証情報に関する設定では、その場にいてください。
- ChatGPT が誤ったウィンドウの操作を開始した場合は、タスクをキャンセルしてください。
ChatGPT がブラウザーを使用する場合、すでにサインインしているページを操作できます。Web サイトでの操作は、自分で実行する場合と同じように確認してください。Web ページには悪意のある、または誤解を招く内容が含まれている可能性があり、サイトは承認済みのクリック、フォーム送信、サインイン済みの操作を、ユーザーのアカウントから実行されたものとして扱う場合があります。ChatGPT の作業中もブラウザーを使い続けるには、別のブラウザーを使用するよう ChatGPT に依頼してください。
この機能では、ターミナルアプリや ChatGPT 自体を自動化できません。自動化によって ChatGPT のセキュリティポリシーを回避できる可能性があるためです。また、管理者として認証したり、コンピューター上のセキュリティおよびプライバシー権限のプロンプトを承認したりすることもできません。
ファイルの編集とシェルコマンドは、該当する場合、引き続き ChatGPT の承認とサンドボックス設定に従います。デスクトップアプリを通じて行った変更は、ディスクに保存されてプロジェクトによって追跡されるまで、レビューウィンドウに表示されない場合があります。ChatGPT のデータ管理設定は、コンピュータ操作で撮影したスクリーンショットを含め、ChatGPT を通じて処理されるコンテンツに適用されます。