Зарегистрироваться
← Все посты

Пост · #15

Почему «видимость по моделям» в AI-отчётах почти всегда врёт?

Почему «видимость по моделям» в AI-отчётах почти всегда врёт?

Системы AI Visibility показывают красивые доли:

  • ChatGPT — 40%
  • Perplexity — 25%
  • Claude — 15%

На дашборде это выглядит как замер реального рынка AI-ответов.

Но на практике такие системы часто измеряют не то, что видит пользователь в чате, а то, что проще, стабильнее и дешевле собрать через API или парсер.

Смотри инфографику!

Система мониторинга может отправлять тот же запрос в nano, mini, Search API или вообще собирать ответы через собственную схему парсинга.

При этом в интерфейсе всё это будет называться просто: ChatGPT.

Разница в стоимости между nano и флагманской моделью может достигать примерно 20–25 раз.

Клиент делает вывод:

«Нас плохо цитирует GPT-5».

Хотя реальность может звучать так:

«Нас плохо цитирует конкретный дешёвый endpoint, который использует этот сервис».

Пример на задаче определения тематики сайта

Я запускал один и тот же промпт на задаче определения тематики сайта.

На простых доменах модели обычно сходятся. Но на неоднозначных…

Фото из альбома лучше смотреть в Telegram — локально они недоступны.