Google ประกาศ Magic Pointer ซึ่งเป็นตัวชี้เมาส์อัจฉริยะที่ทำงานแบบเรียลไทม์พร้อมการรับรู้บริบท เครื่องมือนี้ได้รับการพัฒนาโดย DeepMind ซึ่งเป็นแผนกวิจัยปัญญาประดิษฐ์ของบริษัท และเปิดเผยต่อสาธารณะเมื่อวันที่ 12 พฤษภาคม ระบบนี้อยู่ในขั้นตอนการทดสอบที่ Google AI Studio และจะถูกรวมเข้ากับสมุดบันทึกปัญญาประดิษฐ์ของ Googlebook ใหม่ ซึ่งมีกำหนดเปิดตัวในปลายปี 2567
เมจิกพอยน์เตอร์ทำงานอย่างไร
Magic Pointer ทำงานด้วยวิธีที่เรียบง่ายและเป็นธรรมชาติ เมื่อผู้ใช้เลื่อนตัวชี้บนหน้าจอ ระบบจะเปิดใช้งานโดยอัตโนมัติและอ่านเนื้อหาภาพในบริบททั้งหมด โมเดลปัญญาประดิษฐ์จะประมวลผลข้อมูลที่บันทึกไว้และดำเนินการที่เกี่ยวข้อง แตกต่างจากเครื่องมือปัญญาประดิษฐ์อื่น ๆ ที่จำกัดเฉพาะหน้าต่างพิเศษ Magic Pointer ทำงานได้โดยตรงในอินเทอร์เฟซผู้ใช้โดยไม่ต้องใช้คำสั่งที่ยาวและเฉพาะเจาะจง ผู้ใช้เพียงแค่เลือกเนื้อหาที่แตกต่างกันและให้คำแนะนำทั่วไปเพื่อให้ปัญญาประดิษฐ์เข้าใจสถานการณ์และดำเนินการที่เหมาะสม
แสดงให้เห็นคุณสมบัติที่เป็นประโยชน์
ในการทดสอบ Magic Pointer มีการนำเสนอตัวอย่างการใช้งานในสเปรดชีต เมื่อเคอร์เซอร์อยู่เหนือสองคอลัมน์และผู้ใช้พูดว่า “ผสาน” ระบบจะรวมคอลัมน์เหล่านั้นให้เป็นคอลัมน์เดียวทันที ฟังก์ชันนี้ยังทำงานในบริบทอื่นๆ เช่น การแก้ไขรูปภาพและการค้นหาแผนที่ DeepMind เผยแพร่สถานการณ์จำลองแอปพลิเคชันหลักสำหรับทรัพยากร:
- รวมคอลัมน์ในสเปรดชีตโดยอัตโนมัติด้วยคำสั่งง่ายๆ
- เลือกองค์ประกอบต่างๆ ในรูปภาพอย่างรวดเร็วเพื่อแก้ไข
- ค้นหาในเบราว์เซอร์โดยไม่ต้องใช้หน้าต่างเสริม
- การเปรียบเทียบสินค้าบนหน้าเว็บอัตโนมัติเมื่อเลือกรายการ
- การเปิดใช้งาน Gemini โดยตรงสำหรับงานเฉพาะผ่านเคอร์เซอร์
บูรณาการกับ Chrome และราศีเมถุน
Google อธิบายว่า Magic Pointer ทำงานเป็นตัวเปิดใช้งานสำหรับ Gemini ซึ่งเป็นปัญญาประดิษฐ์ที่รวมอยู่ในเบราว์เซอร์ Chrome เมื่อผู้ใช้เลือกผลิตภัณฑ์หลายรายการบนหน้าเว็บและพูดว่า “เปรียบเทียบ” Gemini จะเปิดแท็บเพิ่มเติมและเปรียบเทียบสินค้าโดยอัตโนมัติ การผสานรวมนี้ทำให้ขั้นตอนการทำงานทั่วไปง่ายขึ้นและลดเวลาที่ใช้ในงานที่ซ้ำซ้อน เบราว์เซอร์ Chrome จะได้รับการสนับสนุนในตัวสำหรับฟังก์ชันนี้ ทำให้ผู้ใช้สามารถเรียกใช้ฟีเจอร์ปัญญาประดิษฐ์ผ่านการเลือกโดยตรงบนหน้าเว็บได้
โมเดลบทสนทนาได้รับการพัฒนาโดยอาศัยข้อความแจ้งขนาดยาว ซึ่งแสดงให้เห็นถึงวิวัฒนาการที่เกี่ยวข้องกับอินเทอร์เฟซแบบดั้งเดิม ระบบแสวงหาความเป็นธรรมชาติมากขึ้นในบริบท โดยย้ายออกจากคำสั่งปลอม และมุ่งไปสู่การโต้ตอบที่เป็นธรรมชาติมากขึ้น แนวทางนี้แสดงถึงเป้าหมายของ Google ในการสร้างระบบคำสั่งที่ปรับให้เข้ากับขั้นตอนการทำงานของผู้ใช้โดยธรรมชาติ
ความพร้อมใช้งานในปัจจุบันและแนวโน้มในอนาคต
ผู้ใช้ที่สนใจ Magic Pointer ไม่จำเป็นต้องรอ Googlebook เปิดตัว ขณะนี้เวอร์ชันเบต้าพร้อมใช้งานแล้วบน Google AI Studio ทำให้สามารถทดสอบการแก้ไขรูปภาพและสถานการณ์การค้นหาแผนที่ได้ เมื่อเข้าถึงเวอร์ชันทดลอง ระบบจะประเมินความแม่นยำของเครื่องมือและให้ข้อเสนอแนะสำหรับการปรับปรุงก่อนที่จะรวมเข้ากับแล็ปท็อปเครื่องใหม่โดยสมบูรณ์ Googlebook มีกำหนดเปิดตัวในช่วงปลายปี 2024 ซึ่งเป็นการผสานกลยุทธ์ของ Google ในด้านฮาร์ดแวร์เข้ากับปัญญาประดิษฐ์แบบบูรณาการ
Magic Pointer เป็นการตอกย้ำกลยุทธ์ของ Google ในด้านผู้ช่วยปัญญาประดิษฐ์ที่ฝังฮาร์ดแวร์ บริษัทต่างๆ เช่น Apple และ Microsoft ได้สร้างเทรนด์ที่คล้ายกันด้วยผู้ช่วยแบบบูรณาการของพวกเขาเอง ตำแหน่งของ Google แสดงให้เห็นถึงการแข่งขันที่รุนแรงในตลาดโน้ตบุ๊กด้วยปัญญาประดิษฐ์ดั้งเดิม ตัวสร้างความแตกต่างของ Magic Pointer อยู่ที่แนวทางในการรวมศูนย์ปฏิสัมพันธ์ของปัญญาประดิษฐ์ ไม่ใช่เป็นเครื่องมือแยกต่างหาก แต่เป็นองค์ประกอบสำคัญของประสบการณ์ผู้ใช้บนอุปกรณ์