Google DeepMind memamerkan teknologi terbaru bernama “Magic Pointer”, sebuah kursor berbasis kecerdasan buatan (AI) yang dirancang untuk memahami konteks dan objek yang sedang ditunjuk pengguna di layar komputer.
Fitur ini diperkenalkan bersama perangkat konsep “Googlebook”. Menurut Google, Magic Pointer dikembangkan agar interaksi pengguna dengan AI terasa lebih natural dan praktis, tanpa perlu mengetik perintah panjang atau berpindah aplikasi.
Cara kerjanya, Magic Pointer menangkap konteks visual dan semantik di sekitar posisi kursor. Dengan pendekatan ini, AI dapat “melihat” area layar yang sedang diperhatikan pengguna dan memahami informasi penting di bagian tersebut.
Magic Pointer juga dirancang mendukung kombinasi gerakan kursor dan perintah suara. Pengguna dapat memberikan instruksi singkat secara alami, sementara sistem memanfaatkan konteks dari bagian layar yang ditunjuk.
Sebagai contoh, pengguna dapat mengarahkan kursor ke gambar sebuah gedung lalu mengucapkan perintah seperti “tunjukkan arah menuju lokasi ini”. Sistem AI kemudian memahami konteks gambar tanpa memerlukan penjelasan tambahan.
Selain pencarian lokasi, Magic Pointer disebut dapat membantu berbagai tugas lain yang umum dilakukan AI, seperti meringkas dokumen PDF, memperbaiki tulisan yang sedang diketik atau ditunjuk, hingga mengubah data statistik menjadi grafik. Pengguna juga dapat memodifikasi resep makanan yang tampil di layar sesuai instruksi, serta memesan restoran yang sedang ditunjuk dalam sebuah video perjalanan.
Dalam salah satu demonstrasi, Google memperlihatkan bagaimana frame video yang dijeda dapat langsung berubah menjadi tautan pemesanan restoran.
Magic Pointer menjadi salah satu fitur yang disematkan di Googlebook, laptop konsep yang disebut menggabungkan elemen Windows, Chromebook, dan Android. Meski demikian, fitur ini juga direncanakan hadir di layanan Gemini yang terintegrasi di browser Google Chrome pada masa mendatang.
Dengan integrasi tersebut, pengguna Chrome nantinya dapat menunjuk bagian tertentu di halaman web lalu bertanya kepada Gemini mengenai area tersebut. Contohnya, pengguna dapat memilih beberapa produk di situs belanja untuk diminta perbandingan spesifikasi, atau menunjuk area ruang tamu di layar untuk memvisualisasikan sofa baru secara virtual.
Bagi yang ingin mencoba, Google menyediakan demo Magic Pointer di AI Studio. Saat ini tersedia dua demo, yakni untuk mengedit gambar dan mencari lokasi di peta.
