PageGuide : Extension de navigateur pour aider les utilisateurs à naviguer sur une page web et localiser des informations

Résumé

Les utilisateurs naviguant quotidiennement sur le web éprouvent des difficultés à localiser rapidement des informations pertinentes dans des pages encombrées, à accomplir des tâches multi-étapes non familières et à rester concentrés face à des contenus distractifs. Les assistants IA de pointe (par exemple, ChatGPT, Gemini, Claude) et les agents de navigation (par exemple, OpenAI Operator, Browser Use) peuvent répondre à des questions et automatiser des actions, mais ils renvoient des réponses sans indiquer l'origine des informations sur la page, contraignant les utilisateurs à vérifier manuellement les résultats et à faire aveuglément confiance à chaque étape automatisée. Nous présentons PageGuide, une extension de navigateur qui ancre les réponses des LLM directement dans le DOM HTML via des superpositions visuelles, répondant à trois besoins utilisateurs fondamentaux : (a) Trouver - localiser et mettre en évidence les preuves pertinentes in-situ pour que les utilisateurs puissent vérifier instantanément les réponses sur la page ; (b) Guider - afficher des instructions étape par étape (par exemple, comment changer un mot de passe) une à une pour que les utilisateurs puissent suivre et exécuter les actions eux-mêmes ; et (c) Masquer - occulter les contenus distractifs en donnant à l'utilisateur la possibilité de décider de masquer ou non un élément. Dans une étude utilisateur (N=94), PageGuide surpasse la navigation non assistée dans tous les modes : la précision de Masquer s'améliore de 26 points de pourcentage (gain relatif de 86,7 %) et le temps d'exécution des tâches chute de 70 % ; le taux de réussite de Guider augmente de 30 points de pourcentage ; et Trouver réduit l'effort de recherche manuelle, avec une utilisation de Ctrl+F qui diminue de 80 % et un temps de tâche réduit de 19 %. Le code et la démonstration sont disponibles sur : pageguide.github.io.

English

Users browsing the web daily struggle to quickly locate relevant information in cluttered pages, complete unfamiliar multi-step tasks, and stay focused amid distracting content. State-of-the-art AI assistants (e.g., ChatGPT, Gemini, Claude) and browser agents (e.g., OpenAI Operator, Browser Use) can answer questions and automate actions, yet they return answers without showing where the information comes from on the page, forcing users to manually verify results and blindly trust every automated steps. We present PageGuide, a browser extension that grounds LLM answers directly in the HTML DOM via visual overlays, addressing three core user needs: (a) Find-locating and highlighting relevant evidence in-situ so users can instantly verify answers on the page; (b) Guide-showing step-by-step instructions (e.g. how to change password) one at a time so users can follow and perform actions by themselves; and (c) Hide-hiding distracting content-giving users a chance to decide to hide an element or not. In a user study (N=94), PageGuide outperform unaided browsing across all modes: Hide accuracy improve by 26 percentage points (86.7% relative gain) and task completion time drops by 70%; Guide completion rate increases by 30 percentage points; and Find reduces manual search effort, with Ctrl+F usage falling by 80% and task time decreasing by 19%. Code and demo is at: pageguide.github.io.