Google ได้เริ่มเปิดตัวฟีเจอร์งานอัตโนมัติแบบหลายขั้นตอนใหม่สำหรับ Gemini Assistant บนอุปกรณ์มือถือบางรุ่น ฟังก์ชันใหม่ช่วยให้ปัญญาประดิษฐ์สามารถดำเนินการที่ซับซ้อนได้โดยตรงภายในแอปพลิเคชันของบุคคลที่สาม โดยไม่จำเป็นต้องให้เจ้าของสมาร์ทโฟนเข้าไปแทรกแซงด้วยตนเองอย่างต่อเนื่องทุกครั้งที่คลิกหรือเลื่อน
ฟีเจอร์ใหม่นี้เริ่มแรกมาในรูปแบบเบต้า และจำกัดเฉพาะรุ่นล้ำหน้าล่าสุดในตลาดเทคโนโลยีมือถือ อุปกรณ์ที่รวมอยู่ในระยะแรกของการใช้งานนี้ ได้แก่ Google Pixel 10, Pixel 10 Pro และ Pixel 10 Pro XL นอกเหนือจากอุปกรณ์ Samsung Galaxy S26 ซีรีส์ทั้งหมดซึ่งมีสถาปัตยกรรมการประมวลผลเฉพาะสำหรับฟังก์ชันเหล่านี้
การเปิดตัวอย่างเป็นทางการเกิดขึ้นพร้อมกันในสหรัฐอเมริกาและเกาหลี โดยตลาดได้รับการคัดเลือกอย่างมีกลยุทธ์เพื่อทดสอบความเสถียรของเครื่องมือในสถานการณ์การใช้งานที่เข้มข้นก่อนการเปิดตัวทั่วโลก การเปิดใช้งานระบบทำได้ง่ายเพียงใช้คำสั่งเสียงโดยละเอียดหลังจากกดปุ่มด้านข้างของอุปกรณ์เป็นเวลานาน
การดำเนินการคำสั่งที่ซับซ้อนในชีวิตประจำวัน
นวัตกรรมหลักของระบบอยู่ที่ความสามารถในการตีความและดำเนินการคำขอที่ต้องมีการนำทางตามลำดับผ่านหน้าจอ เมนู และกล่องโต้ตอบต่างๆ ผู้ช่วยดิจิทัลจะควบคุมอินเทอร์เฟซของแอปพลิเคชันที่เลือกชั่วคราวเพื่อดำเนินการในทางปฏิบัติ เช่น การร้องขอการขนส่งส่วนตัวจากจุดหนึ่งไปยังอีกจุดหนึ่ง หรือการสั่งอาหารเฉพาะบนแพลตฟอร์มการจัดส่ง
ในระหว่างกระบวนการดำเนินการ ปัญญาประดิษฐ์จะวิเคราะห์ตัวเลือกที่มีอยู่ในอินเทอร์เฟซแบบกราฟิก กรอกแบบฟอร์มที่อยู่ และเลือกรายการตามการตั้งค่าในอดีตของผู้ใช้ ระบบมีระบบล็อคเพื่อความปลอดภัยที่หยุดการทำงานชั่วคราวโดยอัตโนมัติและขออนุมัติขั้นสุดท้ายบนหน้าจอก่อนที่จะทำธุรกรรมทางการเงินหรือยืนยันคำสั่งซื้อให้เสร็จสิ้น
การทำงานในสภาพแวดล้อมเสมือนที่แยกออกจากกัน
เพื่อให้มั่นใจถึงความสมบูรณ์ของข้อมูลส่วนบุคคล Gemini เรียกใช้ระบบอัตโนมัติทั้งหมดภายในหน้าต่างเสมือนที่ปลอดภัย ซึ่งแยกออกจากระบบปฏิบัติการส่วนที่เหลือของสมาร์ทโฟนโดยสิ้นเชิง วิธีการห่อหุ้มนี้ป้องกันปัญญาประดิษฐ์ไม่ให้เข้าถึงข้อมูลที่ไม่ได้รับอนุญาต อ่านเอกสารส่วนตัว หรือแก้ไขการตั้งค่าอุปกรณ์ที่สำคัญในขณะที่เรียกดูแอปพลิเคชันบุคคลที่สาม
ผู้ช่วยปฏิบัติตามคำแนะนำที่ให้ไว้ในคำสั่งเสียงเริ่มต้นอย่างเคร่งครัด โดยจำกัดการดำเนินการให้อยู่ในขอบเขตของงานที่แต่ละบุคคลร้องขอเท่านั้น หากผู้ใช้ขอซื้อเอสเพรสโซ เครื่องมือจะเปิดเฉพาะแอปร้านกาแฟที่เกี่ยวข้องเท่านั้น โดยไม่สนใจข้อความ อีเมลที่ทำงาน หรือแกลเลอรีรูปภาพที่อยู่ในหน่วยความจำของอุปกรณ์เลย
สถาปัตยกรรมซอฟต์แวร์ที่พัฒนาขึ้นสำหรับฟังก์ชันนี้ช่วยให้กระบวนการเกิดขึ้นโดยไม่ปรากฏให้เห็นในพื้นหลังหรือผ่านอินเทอร์เฟซโปร่งแสงที่ซ้อนทับบนหน้าจอหลัก เพื่อให้แน่ใจว่าการใช้งานโทรศัพท์ตามปกติจะไม่ถูกรบกวนอย่างกะทันหัน ช่วยให้บุคคลสามารถอ่านบทความหรือดูวิดีโอต่อไปได้ในขณะที่ดำเนินการคำสั่งซื้อ
แอปพลิเคชันที่เข้ากันได้ในขั้นตอนการทดสอบ
ในขั้นตอนแรกของการทดสอบสาธารณะ ฟังก์ชันการทำงานจะครอบคลุมหมวดหมู่เฉพาะของบริการตามความต้องการ ซึ่งเป็นส่วนหนึ่งของกิจวัตรประจำวันของผู้บริโภคหลายล้านคน การสนับสนุนการเปิดตัวอย่างเป็นทางการประกอบด้วยแพลตฟอร์มจัดส่งอาหารยอดนิยม เช่น DoorDash, Grubhub และ Uber Eats ทำให้ง่ายต่อการสั่งอาหารตามปกติซ้ำด้วยคำพูดเพียงประโยคเดียว
ในภาคการคมนาคมในเมือง ระบบจะทำงานร่วมกับแอปพลิเคชัน Uber และ Lyft เพื่อเพิ่มประสิทธิภาพการเดินทางในเมืองต่างๆ ผู้ใช้สามารถป้อนจุดหมายปลายทางที่ต้องการในภาษาธรรมชาติ จากนั้นผู้ช่วยจะดูแลการเปิดแผนที่ ป้อนที่อยู่ที่แน่นอน เปรียบเทียบประเภทยานพาหนะที่มีอยู่ และนำเสนอราคาประมาณสุดท้ายเพื่อขออนุมัติ
สำหรับของใช้ในบ้าน การผสานรวมกับบริการ Instacart ช่วยให้คุณสามารถประกอบตะกร้าสินค้าเสมือนได้อย่างรวดเร็วโดยอิงจากรายการช้อปปิ้งก่อนหน้าหรือสูตรอาหารเฉพาะ ปัญญาประดิษฐ์สามารถระบุผลิตภัณฑ์ที่ร้องขอ ค้นหาตัวเลือกที่ดีที่สุดในแค็ตตาล็อกของร้านค้า และแม้แต่แนะนำผลิตภัณฑ์ทดแทนที่ใช้ได้หากสินค้าบางรายการหมดสต็อกในสถานประกอบการที่เลือก
ในตลาดเกาหลีใต้ ช่วงเบต้าครอบคลุมบริการในท้องถิ่นที่มีความต้องการสูง เพื่อปรับโมเดลภาษาให้เข้ากับวัฒนธรรมผู้บริโภคที่แตกต่างกันและอินเทอร์เฟซระดับภูมิภาค การใช้งานที่เข้าถึงได้อย่างกว้างขวางในประเทศ เช่น Kakao T สำหรับการเคลื่อนที่และ Kaemin สำหรับอาหาร ได้รวมอยู่ในรายการความเข้ากันได้เพื่อให้แน่ใจว่าการทดสอบสะท้อนถึงการใช้งานจริงของประชากรในท้องถิ่น
การประมวลผลภายในเครื่องและการเพิ่มประสิทธิภาพฮาร์ดแวร์
ความพิเศษชั่วคราวของฟีเจอร์สำหรับกลุ่มผลิตภัณฑ์ Pixel 10 และ Galaxy S26 เกิดจากความต้องการฮาร์ดแวร์ที่ได้รับการปรับปรุงให้เหมาะสมที่สุดสำหรับการประมวลผลโมเดลปัญญาประดิษฐ์บนอุปกรณ์โดยตรง สมาร์ทโฟนเหล่านี้มาพร้อมกับหน่วยประมวลผลประสาทที่ล้ำสมัยซึ่งสามารถจัดการกับภาระการประมวลผลจำนวนมหาศาลที่จำเป็นสำหรับการนำทางแอปอัตโนมัติโดยไม่ต้องอาศัยเซิร์ฟเวอร์คลาวด์เพียงอย่างเดียว วิธีการประมวลผลแบบไฮบริดนี้ช่วยลดเวลาแฝงในการตอบสนองของผู้ช่วยได้อย่างมาก และทำให้มั่นใจว่าการดำเนินงานต่างๆ จะเกิดขึ้นได้อย่างราบรื่นและไม่สะดุด แม้ในสถานการณ์ที่การเชื่อมต่ออินเทอร์เน็ตบนมือถือไม่เสถียรหรือช้า
ความร่วมมือทางเทคนิคระหว่างผู้ผลิตฮาร์ดแวร์และทีมพัฒนาระบบปฏิบัติการส่งผลให้มีการบูรณาการอย่างลึกซึ้งระหว่างผู้ช่วยเสมือนและเลเยอร์ทางกายภาพของอุปกรณ์มือถือ การปฏิบัติงานในพื้นที่ไม่เพียงแต่ช่วยเพิ่มความเร็วของระบบอัตโนมัติรายวันเท่านั้น แต่ยังช่วยลดการใช้แบตเตอรี่เมื่อเทียบกับกระบวนการแบบเก่าที่ต้องมีการถ่ายโอนแพ็กเก็ตข้อมูลอย่างต่อเนื่องผ่านทางอินเทอร์เน็ต ระบบปฏิบัติการสามารถระบุรูปแบบการใช้งานของเจ้าของและจัดสรรทรัพยากร RAM แบบไดนามิก เพื่อให้มั่นใจว่าโทรศัพท์จะรักษาประสิทธิภาพการท่องเว็บในระดับสูงสุด ในขณะที่ผู้ช่วยทำงานอย่างเงียบๆ เพื่อรันคำสั่งที่ซับซ้อนในเบื้องหลัง
การควบคุมและติดตามการกระทำอย่างต่อเนื่อง
แม้ว่าปัญญาประดิษฐ์จะได้รับอิสระในระดับสูงในการนำทางอินเทอร์เฟซ สถาปัตยกรรมของระบบได้รับการออกแบบโดยมีจุดประสงค์เพื่อให้เจ้าของอุปกรณ์สามารถควบคุมการทำงานดิจิทัลทุกขั้นตอนได้อย่างสมบูรณ์ เมื่อใดก็ตามที่ทำงานที่ซับซ้อน ผู้ใช้จะได้รับการแจ้งเตือนด้วยภาพและการแจ้งเตือนแบบเรียลไทม์ซึ่งมีรายละเอียดอย่างชัดเจนว่าผู้ช่วยกำลังทำอะไรในเสี้ยววินาทีนั้น เช่น การเลือกร้านอาหารที่ต้องการจากแค็ตตาล็อก หรือการป้อนที่อยู่ในการจัดส่งลงในแบบฟอร์ม หากเครื่องมือพบความคลุมเครือในระหว่างกระบวนการ เช่น สองสาขาของร้านค้าเดียวกันที่ตั้งอยู่ใกล้กับตำแหน่งเป้าหมาย เครื่องมือจะหยุดโฟลว์อัตโนมัติทันที และแสดงแผงบนหน้าจอเพื่อขอคำชี้แจงด้วยวาจาหรือแตะเพื่อยืนยัน นอกจากนี้ ยังมีปุ่มยกเลิกฉุกเฉินที่มองเห็นได้เสมอบนอินเทอร์เฟซโอเวอร์เลย์ ซึ่งช่วยให้คุณสามารถยกเลิกระบบอัตโนมัติได้ทันที ปิดหน้าต่างเสมือนที่ปลอดภัย และกลับสู่การควบคุมหน้าจอด้วยตนเอง การกำกับดูแลที่เข้มงวดนี้มีความจำเป็นเพื่อหลีกเลี่ยงการซื้อโดยไม่ตั้งใจ การส่งยานพาหนะขนส่งไปยังสถานที่ที่ไม่ถูกต้อง หรือการกระทำที่ไม่พึงประสงค์อื่นๆ ที่อาจทำให้เกิดความไม่สะดวกหรือการสูญเสียทางการเงิน เพื่อให้มั่นใจว่าเทคโนโลยีจะทำหน้าที่อย่างเคร่งครัดในฐานะผู้อำนวยความสะดวกในการปฏิบัติงานประจำ และไม่เคยเป็นตัวแทนอิสระโดยไม่มีการควบคุมดูแลโดยมนุษย์
การขยายตัวทางภูมิศาสตร์และภาษาใหม่
ความพร้อมใช้งานในปัจจุบันจำกัดเฉพาะตลาดสหรัฐอเมริกาและเกาหลี ทำหน้าที่เป็นห้องปฏิบัติการแบบเรียลไทม์สำหรับการปรับปรุงอย่างต่อเนื่องของการนำทางด้วยภาพและอัลกอริธึมการทำความเข้าใจบริบท การขยายฟีเจอร์ไปยังประเทศใหม่และการรวมการรองรับภาษาอื่น ๆ จะเกิดขึ้นแบบค่อยเป็นค่อยไปในอีกไม่กี่เดือนข้างหน้า ขึ้นอยู่กับผลลัพธ์ความเสถียรที่ได้รับในขั้นตอนการทดสอบนี้และการปรับของระบบให้เข้ากับรูปแบบการใช้งานในระดับภูมิภาคที่แตกต่างกัน
การเปลี่ยนกระบวนทัศน์การโต้ตอบบนมือถือ
การเปิดตัวตัวแทนอัตโนมัติที่สามารถใช้งานอินเทอร์เฟซแบบกราฟิกในระบบนิเวศของอุปกรณ์พกพา แสดงให้เห็นถึงวิวัฒนาการทางเทคนิคที่สำคัญในวิธีที่ผู้คนโต้ตอบกับสมาร์ทโฟนของตน การเปลี่ยนจากคำสั่งพื้นฐานจากการแตะซ้ำๆ บนหน้าจอไปเป็นคำสั่งด้วยวาจาที่ครอบคลุมซึ่งก่อให้เกิดการดำเนินการที่เป็นรูปธรรม ช่วยลดเวลาที่ใช้ในงานระบบราชการในชีวิตประจำวันดิจิทัล
การมุ่งเน้นที่การพัฒนาเครื่องมือที่ใช้งานแอปพลิเคชันบุคคลที่สามอย่างอิสระ แสดงให้เห็นถึงการเจริญเติบโตของโครงข่ายประสาทเทียมที่นำไปใช้กับการบริโภคและประสิทธิภาพการทำงาน ความคาดหวังทางเทคนิคคือผู้ช่วยจะสามารถจัดการกิจวัตรที่ซับซ้อนและเชื่อมโยงถึงกันได้มากขึ้นในการอัพเดตในอนาคต โดยรวมอุปกรณ์ระดับพรีเมียมให้เป็นศูนย์บัญชาการอัตโนมัติที่แท้จริงสำหรับชีวิตในเมือง