Appshots¶

Appshots を使うと、手前に表示されているアプリウィンドウを ChatGPT のチャットに送信できます。コンピューター上の別のアプリで作業中に、現在のコンテキストを ChatGPT に提供してタスクを支援してもらいたい場合に使用します。

Appshots は macOS の ChatGPT デスクトップアプリで利用できます。両方の Command キー、またはカスタム Appshots ホットキーを押すと、Appshot を撮影できます。

Appshots で取得される内容¶

Appshot では、手前に表示されているウィンドウのみが取得されます。次の内容が含まれる場合があります。

表示されているウィンドウの画像。
そのウィンドウから利用可能なテキスト。表示されているテキストや、アプリが表示領域外のスクロール部分で利用できるようにしているテキストも含まれます。

Appshot をチャットに追加すると、添付ファイルと同じように扱われます。ChatGPT は、手動で添付したファイルや画像と同様に、Appshot をセッションファイルにローカル保存します。

Appshots を使用するタイミング¶

ChatGPT が操作を実行する前に、Mac アプリのコンテキストを必要とする場合は Appshots を使用します。

例：

API リファレンスページを共有し、それを使用するスクリプトを ChatGPT に作成してもらう。
メールまたはカレンダーの表示を共有し、次のステップの下書きを ChatGPT に作成してもらう。
画像エディター、デザイン、またはプレビューウィンドウを共有し、関連するアセットやコードを ChatGPT に修正してもらう。
説明するよりも表示したほうが簡単なエラー、設定パネル、またはアプリの状態を共有する。

Appshot を撮影する¶

共有するアプリウィンドウを手前に表示します。
両方の Command キー、または ChatGPT の設定で構成したカスタムホットキーを押します。
ChatGPT から求められた場合は、macOS の権限を許可します。
Appshot を使って ChatGPT にタスクを依頼します。

デフォルトでは、ChatGPT は Appshot 用に新しいチャットを開始します。ただし、過去 60 秒以内にチャットを操作していた場合、ChatGPT はその直近のチャットに Appshot を追加します。Appshot を連続して撮影すると、同じチャットに追加されます。

Appshots のホットキーはアプリの設定で変更できます。

権限と安全性¶

Appshots を撮影する前に、ChatGPT から権限を求められる場合があります。

画面収録とシステムオーディオ録音を許可すると、ChatGPT は手前に表示されているウィンドウの画像を取得できます。
アクセシビリティを許可すると、ChatGPT は手前に表示されているウィンドウから利用可能なテキストを読み取れます。

Appshot を撮影すると、取得した画像と利用可能なテキストが ChatGPT と共有されます。タスクで必要な場合を除き、機密性の高いコンテンツの Appshot は撮影しないでください。

ChatGPT とスクリーンショットやドキュメントを共有する場合と同じ方法で、Appshots を確認してください。

制限事項とトラブルシューティング¶

Appshots は macOS の ChatGPT デスクトップアプリで利用できます。すでに Appshot を含むチャットを CLI で再開した場合、添付ファイルはチャット履歴の一部になりますが、CLI から新しい Appshot を作成することはできません。

Google Docs、Gmail、Google Sheets、Google Slides など、一部のアプリやウェブサイトでは、ChatGPT が表示されているスクリーンショットだけを受け取り、ドキュメント全体や画面外のテキストを受け取れない場合があります。Work モードまたは Codex では、ChatGPT は対応するインストール済みプラグインを使用して関連するアプリのコンテンツにアクセスし、リクエストを支援できます。

Appshots が機能しない場合：

システム設定 > プライバシーとセキュリティを開きます。
Codex Computer Use に対して、画面収録とシステムオーディオ録音およびアクセシビリティを確認します。
アプリを再起動して、もう一度試します。