CarbCam: как это работает?

Как работает CarbCam?

CarbCam берет вашу фотографию, отправляет ее в сервис ИИ, получает оценку компонентов, проверяет значения по стандартным базам данных о питании и показывает вам результат.

Обзор процесса

Каждый анализ проходит до шести этапов:

1
Фото
2
Обрезка
3
Предпроверка
4
Анализ ИИ
5
Проверка
6
Сохранение

Визуализированный процесс: далее реальные скриншоты для сравнения:

CarbCam: вкладка сканирования

1. Вкладка сканирования

CarbCam: анализ ИИ

2. Анализ ИИ

CarbCam: результат

3. Результат

Процесс подробно

1 Съемка фото и локальная обрезка изображения

Сначала фотография остается полностью на вашем устройстве. Вы можете обрезать, повернуть или переснять ее. Ничего не загружается, пока вы не нажмете «Анализировать».

2 Запрос к серверному кешу (предпроверка)

Прежде чем изображение вообще будет отправлено в ИИ, приложение проверяет по хешу SHA-512 и перцептивному хешу, существует ли уже идентичная или очень похожая фотография в серверном кеше. Если совпадение найдено, вы сразу получаете сохраненный результат: без нового обращения к ИИ. Последующий шаг подтверждения отмечает запись кеша как использованную (учет квоты).

3 Загрузка для анализа ИИ

Если совпадения в кеше нет, (обрезанная) фотография отправляется на наш эндпоинт анализа. Там вызывается модель компьютерного зрения (Gemini, Claude или OpenAI: в зависимости от вашего выбора в настройках приложения), чтобы описать изображение, назвать отдельные компоненты и оценить примерные количества.

Конфиденциальность: фотография не используется для обучения модели. Подробнее в политике конфиденциальности.
4 Фоновая проверка (только при низкой достоверности)

Если оценка ИИ сообщает о низкой достоверности, сервер запускает фоновую сверку с базами данных о питании (USDA FoodData Central, Open Food Facts). Скорректированные значения поступают в кеш: при следующем совпадении с такой же или похожей фотографией вы увидите улучшенный результат. Для сканирований с высокой достоверностью этот шаг пропускается.

Для штрихкодов, однако, сравнение с Open Food Facts / USDA всегда выполняется напрямую, так как таблица питания производителя здесь является основным источником.

5 Редактирование вами

Вы можете переопределить любое значение: количество, углеводы, ккал, FPE, компонент. При сохранении используются ваши значения, а не оценка ИИ. Приложение сохраняет вашу общую коррекцию углеводов (пользователь: X г vs ИИ: Y г) как разницу для статистических целей.

6 Сохранение и синхронизация с Nightscout

Локально в базе данных SQLite. Опционально также через синхронизацию с Nightscout в ваш экземпляр Nightscout: но только как заметка в таблице лечения (с тегом CarbCam), не как активное лечение углеводами/инсулином. Ваши расчеты Loop/AAPS/iAPS не затрагиваются сохранениями CarbCam: блюдо видно только как заметка. Если вы используете управляемый Nightscout от ns.10be.de, настройка особенно проста: введите URL Nightscout и API-секрет: готово.

Если вы хотите, чтобы углеводы активно учитывались как лечение, используйте кнопку «Поделиться» в результате сканирования: она отправляет значение углеводов через deep link в AAPS/AndroidAPS, Loop, iAPS или Trio или открывает системное меню «Поделиться».

Что такое FPE?

FPE означает Fat-Protein Units (хлебные единицы жира и белка). Они показывают, сколько энергии от жиров и белков влияет на уровень сахара крови с задержкой.

FPE = (Жиры × 9 + Белки × 4) ÷ 100

Одна единица FPE равна примерно 100 ккал из жиров и белков. Пример:

  • 30 г жиров + 20 г белков = (270 + 80) ÷ 100 = 3,5 FPE

Пользователи помп часто используют FPE для настройки параметров продленного болюса (например, квадратной или двойной волны). Пользователи шприц-ручек могут использовать FPE как приблизительный индикатор для позднего коррекционного перекуса или небольшой послеобеденной коррекции.

CarbCam отображает FPE в виде желтой плашки в карточке результата. Цвета показателей питания:

  • Углеводы Углеводы
  • ккал Калории
  • FPE Хлебные единицы жира и белка
  • Жиры Жиры
  • Белки Белки

Кривая сахара крови под блюдом

Когда Nightscout настроен, CarbCam загружает данные сахара крови из вашего экземпляра Nightscout и показывает кривую сахара крови на вкладке истории под каждым блюдом. Временное окно зависит от платформы и выбирается автоматически вокруг времени приема пищи. Вместе с Nightscout CarbCam позволяет целенаправленно отслеживать сахар крови после еды.

Особенности кривой сахара крови (данные Nightscout):

  • Временное окно вокруг приема пищи (зависит от платформы)
  • Маркер времени приема пищи
  • Пик выделен цветом (красный/желтый/зеленый в зависимости от уровня)
  • Подъем и конечное значение как ключевые метрики
  • IOB / COB как опциональные линии наложения
Кривая помогает вам учиться: как ваш организм реагирует на пасту? На пиццу? На суши? С помощью функции сравнения (в истории) вы можете наложить несколько кривых друг на друга.
Кривая сахара крови требует работающего подключения к Nightscout. Без Nightscout этот раздел не отображается. Еще нет Nightscout? Настройте управляемый хостинг Nightscout на NS10BE: и подключите CarbCam мгновенно.

Точность

Точность зависит от типа блюда:

Точность по типу блюда
Тип блюда Типичное отклонение Примеры
Четкие порции ±20 % Рис, паста, хлеб
Сложные блюда ±30 % Рагу, запеканки
Очень необычные ±40 % или больше Незнакомые региональные блюда
Упакованные продукты ±5 % Автоматическое распознавание штрихкода (значение производителя через Open Food Facts)
Что улучшает точность:
  • Хорошее освещение и четкая фотография: без теней на тарелке
  • Все компоненты видны: не заливайте пасту соусом
  • Ориентир размера: держите край тарелки, столовые приборы или руку в кадре
  • Стандартные блюда: ИИ хорошо справляется с хорошо известными блюдами
Что снижает точность:
  • Тарелки с буфета со множеством маленьких кучек
  • Компоненты, сильно залитые соусом
  • Очень необычные региональные блюда без четкой справочной базы данных
  • Съемка сбоку под углом без ориентира размера
Что это значит для вашего болюса:
  • Для обычных блюд: используйте оценку как отправную точку, применяйте собственные знания и при необходимости скорректируйте значение перед сохранением
  • Для критических решений по болюсу (очень высокие углеводы, риск гипогликемии): всегда консультируйтесь с собственными знаниями / базой данных / упаковкой
  • С помпой: накапливайте опыт того, насколько ваши блюда обычно отклоняются, затем скорректируйте оценку своим персональным коэффициентом

Что происходит офлайн?

Без подключения к интернету работают следующие функции:

  • Просмотр и фильтрация истории
  • Ручное создание и редактирование записей
  • Просмотр вкладки статистики
  • Экспорт данных (CSV/JSON)
  • Съемка фото и постановка в очередь для последующего анализа

Следующее требует подключения:

  • Анализ ИИ (фото отправляется провайдеру)
  • Автоматический поиск по штрихкоду (Open Food Facts)
  • Синхронизация с Nightscout (кривая сахара крови, загрузка лечения)