Google ประกาศฟีเจอร์การทำงานอัตโนมัติแบบหลายขั้นตอนในแอป Gemini สำหรับอุปกรณ์ Android บางรุ่น ฟังก์ชั่นนี้ช่วยให้ผู้ช่วย AI ดำเนินการที่ซับซ้อนในแอปพลิเคชันบุคคลที่สาม เช่น การจองรถหรือสั่งอาหารและของชำได้ ฟีเจอร์นี้เริ่มมาถึงในรุ่นเบต้าสำหรับ Google Pixel 10, Pixel 10 Pro, Pixel 10 Pro XL และ Samsung Galaxy S26 series เริ่มวางจำหน่ายในสหรัฐอเมริกาและเกาหลี
การเปิดตัวเกิดขึ้นระหว่างกิจกรรมล่าสุดของ Samsung และการอัปเดตของ Google ผู้ใช้เปิดใช้งานคุณสมบัตินี้โดยกดปุ่มด้านข้างของอุปกรณ์ค้างไว้แล้วออกคำสั่งด้วยวาจาแก่ราศีเมถุน ผู้ช่วยดำเนินการขั้นตอนที่จำเป็นในหน้าต่างเสมือนที่ปลอดภัย โดยไม่รบกวนการใช้โทรศัพท์ตามปกติ กระบวนการนี้รวมถึงการนำทางอัตโนมัติผ่านแอปพลิเคชัน การขอคำชี้แจงเมื่อจำเป็น และการหยุดชั่วคราวเพื่อขออนุมัติขั้นสุดท้ายจากผู้ใช้ก่อนที่จะดำเนินการให้เสร็จสิ้น
ระบบอัตโนมัติทำงานอย่างไรในแอปพลิเคชันที่รองรับ
Gemini ทำงานในสภาพแวดล้อมเสมือนจริงที่แยกออกมาเพื่อความปลอดภัยและความเป็นส่วนตัวขณะทำงาน เข้าถึงเฉพาะแอปที่ได้รับอนุญาตและปฏิบัติตามคำแนะนำที่ให้ไว้ในข้อความแจ้งเริ่มต้น ตัวอย่าง ได้แก่ การเรียกรถด้วย Uber การกำหนดสถานที่ ประเภทรถและเวลา หรือการรวบรวมรายการประวัติที่เฉพาะเจาะจงบน DoorDash
ผู้ช่วยแสดงให้เห็นถึงความสามารถในการจัดการกับการตัดสินใจง่ายๆ ในระหว่างโฟลว์ ในการทดสอบคำสั่งซื้อกาแฟที่ Starbucks เขาเลือกตัวเลือกเมนู ตัดสินใจอุ่นรายการเสริม และนำเสนอทุกอย่างเพื่อตรวจสอบ ผู้ใช้ติดตามความคืบหน้าแบบเรียลไทม์และแทรกแซงได้ตลอดเวลาเพื่อแก้ไขหรือยกเลิก
ข้อจำกัดเบื้องต้นของเวอร์ชันเบต้า
ฟังก์ชันการทำงานถูกจำกัดไว้เฉพาะหมวดหมู่แอปเมื่อเปิดตัว การสนับสนุนครอบคลุมบริการจัดส่งอาหารเช่น DoorDash, Grubhub และ Uber Eats รวมถึงซูเปอร์มาร์เก็ตเช่น Instacart และการเรียกรถผ่าน Uber และ Lyft ในเกาหลี มีตัวเลือกในท้องถิ่น เช่น Kakao T และ Kaemin
ความพร้อมใช้งานทางภูมิศาสตร์ยังคงจำกัดอยู่เฉพาะในสหรัฐอเมริกาและเกาหลีในขณะนี้ ต้องใช้อุปกรณ์ที่เข้ากันได้กับแอป Gemini ที่อัปเดตแล้ว เวอร์ชันเบต้ามุ่งเน้นไปที่งานที่ต้องทำซ้ำๆ ในแต่ละวันเพื่อแสดงศักยภาพของ Agentic AI บน Android
ตัวอย่างการใช้งานจริงในชีวิตประจำวัน
ผู้ใช้ขอให้ Gemini จองรถไปยังสถานที่เฉพาะ เช่น สนามบิน ผู้ช่วยเปิดแอป ป้อนที่อยู่ต้นทางและปลายทาง เลือกประเภทยานพาหนะ และแนะนำเวลา โดยจะสอบถามผู้ใช้เกี่ยวกับการตั้งค่าเพิ่มเติมก่อนที่จะยืนยัน
เมื่อสั่งอาหารคำสั่งอาจจะเป็นสั่งซ้ำหรือประกอบอาหารใหม่ Gemini นำทางเมนู เพิ่มรายการ และใช้โปรโมชั่นที่มีอยู่ กระบวนการนี้ทำงานในเบื้องหลัง ทำให้ผู้ใช้สามารถใช้โทรศัพท์เพื่อทำกิจกรรมอื่นๆ ต่อไปได้ในขณะที่ติดตามการแจ้งเตือน
บูรณาการกับอุปกรณ์เรือธง
Galaxy S26 series และ Pixel 10 series ได้รับความสำคัญในการเปิดตัวเนื่องจากความร่วมมือระหว่าง Google และ Samsung อุปกรณ์เหล่านี้มีฮาร์ดแวร์ที่ได้รับการปรับแต่งมาสำหรับการประมวลผล AI บนอุปกรณ์ การดำเนินการเกิดขึ้นอย่างมีประสิทธิภาพโดยไม่ต้องอาศัยระบบคลาวด์เพียงอย่างเดียว
การอัปเดตล่าสุดขยายการควบคุมของ Gemini ในแอปของบุคคลที่สาม นี่แสดงถึงการปรับปรุงที่สำคัญจากการโต้ตอบก่อนหน้านี้ซึ่งจำกัดอยู่เพียงการตอบกลับด้วยข้อความหรือคำสั่งง่ายๆ โฟกัสยังคงอยู่ที่งานประจำวันเพื่อเพิ่มผลผลิต
ความปลอดภัยและการควบคุมผู้ใช้
งานที่ดำเนินการในหน้าต่างเสมือนจะปกป้องข้อมูลส่วนบุคคลและป้องกันการเข้าถึงโดยไม่ได้รับอนุญาต ราศีเมถุนดำเนินการเฉพาะเมื่อได้รับอนุญาตอย่างชัดเจนและยุติการกระทำทันทีเมื่อเสร็จสิ้นหรือหยุดชะงัก ผู้ใช้จะได้รับการแจ้งเตือนสดให้ปฏิบัติตามแต่ละขั้นตอน
คุณลักษณะนี้เสริมการป้องกันบนอุปกรณ์ที่มีอยู่แล้วในรุ่นล่าสุด หลีกเลี่ยงการเปิดเผยข้อมูลที่ละเอียดอ่อนโดยไม่จำเป็นระหว่างระบบอัตโนมัติ การควบคุมด้วยตนเองยังคงสมบูรณ์ พร้อมตัวเลือกในการหยุดชั่วคราวหรือแก้ไขได้ทุกเมื่อ
คาดว่าจะขยายตัวในอนาคต
Google ระบุว่ารุ่นเบต้าทำหน้าที่เป็นตัวอย่างเบื้องต้นของศักยภาพของเทคโนโลยี การสนับสนุนแอปพลิเคชันและภูมิภาคเพิ่มเติมควรมาถึงในการอัปเดตครั้งต่อไป การบูรณาการกับหมวดหมู่อื่นๆ สามารถขยายขอบเขตการจองหรือบริการเพิ่มเติมได้
ฟังก์ชั่นนี้สอดคล้องกับวิวัฒนาการของ Gemini ในฐานะผู้ช่วยตัวแทน ช่วยให้คุณสามารถมอบหมายกิจวัตรที่น่าเบื่อในขณะที่ให้ผู้ใช้รับผิดชอบ อุปกรณ์ที่เข้ากันได้ได้รับความได้เปรียบในด้านประสิทธิภาพรายวัน
สิทธิประโยชน์สำหรับผู้ใช้ Android ระดับพรีเมียม
เจ้าของ Pixel 10 และ Galaxy S26 เข้าถึงฟีเจอร์พิเศษที่ทำให้การโต้ตอบตามปกติง่ายขึ้น ระบบอัตโนมัติช่วยลดเวลาที่ใช้ในแอปที่กระจัดกระจาย มันเปลี่ยนคำสั่งด้วยวาจาให้เป็นการกระทำที่สมบูรณ์โดยไม่ต้องมีการแทรกแซงอย่างต่อเนื่อง
การใช้งานแสดงให้เห็นถึงความสมบูรณ์ของ AI ในสภาพแวดล้อมมือถือ ผู้ใช้รายงานความสะดวกมากขึ้นในสถานการณ์มัลติทาสกิ้ง คุณลักษณะนี้มีส่วนช่วยให้ประสบการณ์ที่ลื่นไหลมากขึ้นในระบบนิเวศของ Android