Claude Computer Use 実用ガイド：API でコンピュータを操作させる

Claude Computer Use は、Claude API に「画面のスクリーンショットを見せて、マウス/キーボード操作を返させる」ためのツール群です。OpenAI Operator がブラウザ内で動く消費者向けプロダクトなのに対し、Computer Use は API 経由で自社システムに組み込む ための機能です。本記事では、用途・最小実装・運用上の注意点を整理します。

Operator との違い

得意な用途

• レガシーシステムの操作自動化：API がない社内システムを Claude に GUI 経由で操作させる
• QA テストの高度化：「ログインしてカートに商品を入れる」のような E2E テストを自然言語で記述
• アクセシビリティ補助：音声指示でアプリを操作する仕組みを作る
• RPA の置き換え：UiPath / Power Automate のシナリオを Claude で柔軟化

最小実装の流れ

Anthropic SDK で computer_20250124 ツールを宣言すると、Claude が screenshot / mouse_move / left_click / type などのコマンドを返します。実行は呼び出し側の責任です。

# 擬似コード
import anthropic, pyautogui

client = anthropic.Anthropic()
messages = [{"role": "user", "content": "Excel を開いて A1 に Hello と入力"}]

while True:
    res = client.messages.create(
        model="claude-sonnet-4-6",
        tools=[{"type": "computer_20250124", "name": "computer", ...}],
        messages=messages,
    )
    if res.stop_reason == "end_turn":
        break
    for block in res.content:
        if block.type == "tool_use":
            # block.input.action に従って pyautogui で実行
            ...
            messages.append({"role": "user", "content": [{"type": "tool_result", ...}]})

落とし穴

• 解像度依存：Claude が想定している解像度と実機の解像度が違うとクリック座標がずれます。display_width_px / display_height_px を必ず指定。
• ログイン情報の扱い：パスワードを Claude のコンテキストに入れない。OS のキーチェーン経由で渡すか、操作前にユーザーに開いてもらう。
• 意図しない操作：ファイル削除や送信ボタンを誤って押す可能性があるため、本番運用ではサンドボックス VM を必須 とする。
• コスト：スクリーンショット 1 枚で約 1500 トークン消費。長尺タスクは数百円〜になります。

業務ユースケース別の判断

セキュリティ前提

Computer Use は強力ですが、画面情報すべてが Anthropic に送信されます。社外秘情報や個人情報を含む画面を撮影しないよう、専用 VM での実行 と 社内利用ガイドライン の整備が前提です。

結論

「API がないシステムを定型操作で自動化したい開発者」にとって決定打になります。逆に、コードを書きたくない / 単発のリサーチが目的、なら Operator か Manus の方がフィットします。

※ 仕様・価格は 2026-05 時点のものです。Computer Use はベータ機能のため、Anthropic 公式ドキュメントで最新の API 仕様をご確認ください。