Bilgisayar kontrolü (Computer Use)

Bilgisayar kontrolüyle ajan, Windows masaüstünü gerçek fare ve klavye girdisiyle kullanır: uygulama açar, pencere değiştirir, tıklar, yazar ve kısayolları kullanır. Tarayıcının yetmediği işlerde, örneğin bir masaüstü uygulamasında, bu yöntem devreye girer.

Kontrol sende

• Ajan kontroldeyken ekranda parlayan bir çerçeve, ajanın imleci ve bir kontrol paneli görünür.
• Kontrol panelinden istediğin an ajanı durdurabilir ya da kontrolü devralabilirsin.

Ekranı nasıl okur?

• Ekran, ön plandaki pencerenin ana hattı olarak okunur.
• Ekran görüntüsü analizi yalnızca görsel içerikler için kullanılır.

Güvenlik

• Ekrandaki ve uygulamalardaki içerik veri olarak kabul edilir. İçerikte bulunan talimatlar uygulanmaz, kullanıcıya bildirilir.
• Ajan ekranda gördüğü içerikle çalışır; işe başlamadan önce görünmesini istemediğin pencereleri kapat.

Tarayıcı kullanımından farkı

İş bir web sitesinde yapılabiliyorsa yan paneldeki tarayıcıyı tercih et; bilgisayar kontrolü masaüstü uygulamaları gerektiren işler içindir (bkz. Ajan becerileri).

Örnek istekler

• “Not Defteri'ni aç ve toplantı notlarını yaz.”
• “Masaüstündeki rapor klasörünü aç ve dosyaları tarihe göre sırala.”
• “Bu masaüstü uygulamasında dışa aktarma menüsünü bul ve raporu PDF olarak kaydet.”

Sık sorulan sorular

• Ajan çalışırken bilgisayarımı kullanabilir miyim? Ajan gerçek fare ve klavye girdisiyle çalıştığı için aynı anda kullanmak işini bozabilir. Müdahale etmek istediğinde kontrol panelinden kontrolü devral.
• Ajanı nasıl durdururum? Kontrol panelindeki Durdur ile istediğin an.
• Ekranımın görüntüsünü sürekli mi alır? Hayır. Ekran, ön plandaki pencerenin ana hattı olarak okunur; ekran görüntüsü analizi yalnızca görsel içerikler için kullanılır.