Có bao giờ bạn tự hỏi sao có người thì tận dụng mấy con AI Agent một cách rất dữ dội (thấy khoe), có người thì lại than thở là nó chả làm được tích sự gì (thấy khóc) dù cho các công ty AI cứ ra rả ra mô hình ngày càng thông minh.
Để giải thích một cách ngắn gọn và dễ hiểu cho vấn đề trên tới các quý vị khán giả thì các bạn hãy thử trả lời câu hỏi này: “Nếu một vị tướng có một trí não thiên tài, nhưng dàn lính thì toàn là mắt thì mờ, chân tay thì run rẩy… thì bạn nghĩ đội quân đó sẽ thế nào?”
Vấn đề đặt ra ở trên chính là một trong những vấn đề lớn với nền công nghiệp AI Agent hiện tại. Các công ty đầu tư, đổ tiền rất nhiều vào các mô hình suy luận (LLM – Reasoning), nên bạn sẽ thấy các mô hình biết suy nghĩ, trả lời ngày một thông minh…Nhưng chưa nhiều công ty tập trung vào các mô hình “Nhìn màn hình và làm cho đúng”.
Tới đây, bạn sẽ thấy 1 nhóm nghiên cứu mới toanh và đang được đầu tư nhiều hơn đó là nhóm mô hình GUI Grounding, là các nghiên cứu mô hình AI giúp nhận dạng được hình ảnh, giao diện và đưa ra các vị trí chính xác của một yêu cầu từ người dùng, ví dụ như “Nhấn vào nút Đặt hàng”, thì mô hình này sẽ giúp tìm trên giao diện, vị trí chính xác của cái nút Đặt hàng và tiến hành dùng chuột nhấn vào đó.
Nói thì dễ, nhưng hiện tại khá là dễ nhấn nhầm, nhấn sai kéo theo rất nhiều hành vi khó hiểu và cần con người can thiệp. Chính vì thế, các công ty công nghệ lớn từ Mỹ đến Trung Quốc đang bắt đầu có 1 nhánh nghiên cứu các mô hình nhóm GUI Grounding này, và tôi tin tương lai sẽ có rất nhiều “siêu tân tinh” trong mảng này.
Nếu nói LLM Reasoning là bộ não, thì các mô hình GUI Grounding chính là đôi mắt, là bàn tay của Agent, sẽ giúp nó tương tác chính xác với màn hình ứng dụng của người dùng, sau khi nhận được tín hiệu từ não (là LLM).
Ở chia sẻ này chỉ mới là giới thiệu với các anh chị em làm ngành về một nhánh nghiên cứu AI mới và đang dần trở nên hot, cũng như biết thêm là vì sao có người tận dụng tốt Agent, có người không dùng được, không phải bởi vì nó không thông minh, mà bởi vì mắt nó mờ, tay nó run nên hay làm sai.
Nếu mọi người hứng thú với GUI Grounding thì mình có thể chia sẻ sâu hơn trong các bài sau.