Как внедрить ИИ в документацию: опыт Test IT шаг за шагом

Разрастание документации неизбежно с увеличением масштаба продукта. Стандартные инструменты поиска становятся неэффективными, и пользователи начинают теряться в море страниц. Мы в Test IT столкнулись с этой проблемой и нашли решение: внедрили ИИ-бота для поиска по сайту с документацией. Он не только ускоряет поиск, но и анализирует запросы, выявляя пробелы в документации. В статье разработчик документации Test IT Александр Панов рассказал о ключевых этапах внедрения: от определения задач до работы с обратной связью.

1. Определяем задачи для ИИ-бота

Создание ИИ-бота для работы с технической документацией требует четкого понимания задач и возможностей. Робот не должен заменять специалистов или продавать, но обязан предоставлять быстрые и точные ответы, помогать сориентироваться в массиве данных и быть удобным для пользователей.

Однако важно понимать, что сам по себе бот — это инструмент. Его эффективность зависит от качества загруженных данных и того, как мы используем результаты его работы. Для того чтобы реализовать решение, необходимо выбрать подходящий продукт, встроить его на сайт и развернуть на прод-окружении. 

Чтобы этого достичь, у бота должна быть:

Возможность интеграции с сайтом. Важно убедиться, что его можно встроить «из коробки» или через адаптацию скриптов. 

Загрузка базы знаний. Форматы передачи данных могут варьироваться: от URL до Confluence. Если база знаний регулярно обновляется, стоит настроить автоматическую синхронизацию, чтобы снизить вероятность предоставления устаревшей информации.

Объем базы знаний. При интеграции со сторонними решениями нужно учитывать, сколько данных вы можете загрузить, так как за превышение лимита придется доплачивать. 

Количество запросов. Оцените ежедневную активность пользователей вашего сайта, чтобы точно выбрать подходящее решение.

Формат ответов. Так как боту предстоит работать с документацией, важно учесть поддержку разметки (например, Markdown), отображение таблиц, скриншотов и других визуальных элементов, умение различать глоссарии, инструкции и процессы.

Аналитика. Для понимания, что спрашивают пользователи, какие ответы они получают. Это же поможет в дальнейшем оптимизировать работу.

Внешний вид. Чат-бот должен выглядеть гармонично и соответствовать стилю вашего сайта, а значит иметь возможность изменять аватар, шрифты, настраивать интерфейс под бренд и так далее.

Настройка промпта. Мы используем стандартный промт, который работает четко: находит ответы в документации, избегает ненужных отклонений. В плане настройки подходы разработчиков ИИ-сервисов отличаются. Некоторые предлагают свободу в настройке и добавлении контекста, другие считают это продвинутой функцией, доступной на платных тарифах. Есть и те, кто вовсе исключает возможность редактирования, утверждая, что их промт уже оптимален и вмешательства могут снизить эффективность.

Что касается AI-движка: тут многие сервисы предлагают стандартные решения, например GPT-4o Mini, но за доступ к более продвинутым версиям нужно доплачивать. Вопрос, нужна ли вашей документации самая мощная модель, зависит от специфики задач. Если ваш бот обслуживает сложные запросы, более развитая модель может сократить время на доработку базы знаний и улучшить качество ответов.

2. Выбираем подходящее решение

Бота можно сделать самостоятельно или использовать готовые наработки. 

• Сторонние сервисы предлагают готовые решения, но они часто дороги и ограничены в настройке.

• Самописные решения требуют значительных усилий на разработку, но дают полную гибкость.

• Компромисс: использовать готовое решение с возможностью доработки.

Цены варьируются от нескольких тысяч рублей в месяц до комплексных решений за миллионы. Оцените, какие функции действительно важны для вашей компании, чтобы не переплачивать за ненужные опции.

Мы выбрали прямую интеграцию и доработали скрипт под свои нужды. В результате бот стал гибким инструментом, который легко настраивается и управляется.

3. Устанавливаем ИИ-бота

Наша имплементация прошла несколько этапов:

1. Подготовка базы знаний: загрузили ограниченную версию данных (в рамках бесплатного тарифа).

2. Доработка скрипта: адаптировали код для интеграции с веб-сайтом.

3. Развертывание бесплатной версии: установили и протестировали бота в dev-среде.

4. Выбор тарифа: оформили платный план для доступа к полной функциональности.

5. Загрузка полной базы знаний: перенесли все необходимые данные.

6. Тестирование платной версии: проверили работоспособность бота на dev-окружении.

7. Продакшен: развернули платную версию на боевой среде.

4. Корректируем работу бота

Мы рассматриваем бота в том числе и как аналитический инструмент. Его основная задача на этом поле — подсветить проблемные места в документации.

Что мы узнали, анализируя запросы через ИИ-бота:

1. Пользователи не могут найти ответы, потому что структура документации слишком сложная.

2. Некоторые важные инструкции или разделы отсутствуют.

3. Терминология в документации не совпадает с запросами пользователей.

4. Неинформативные заголовки вводят в заблуждение.

5. Часто пользователи формулируют запросы не так, как мы ожидали.

Каждый запрос становится ценным сигналом. Например, мы добавили блок с часто задаваемыми вопросами в окне коммуникации с ботом.  

В будущем мы планируем:

• Интегрировать более сложные сценарии, включая редактирование промтов и более детальную настройку бота под наш продукт.

• Использовать бота как аналитический инструмент для понимания потребностей пользователей.

Вывод

ИИ-бот пока не стал универсальным решением. Его главная ценность для нас — в аналитике и обратной связи. Мы видим его как инструмент, который помогает находить точки роста в документации.

Если вы планируете внедрить подобное решение, готовьтесь к экспериментам и постоянной работе над материалами. Бот не заменит качественную документацию, но может стать вашим незаменимым помощником в её улучшении.

Подробнее о нашем опыте работы с ИИ и этапах внедрения читайте в оригинальной статье