Пагинация архива при одновременном поступлении новых событий
Интеграция выгружает архив хозяйства несколькими страницами, пока новые измерения продолжают поступать. Если контракт выборки не определяет устойчивый порядок, часть записей может повториться или исчезнуть между запросами. Успешное получение всех страниц ещё не доказывает полноту нужного временного интервала и отсутствие пропусков.
Прочитать контракт списка
Google AIP158 описывает постраничный интерфейс с размером страницы и токеном продолжения. (Google — AIP158 Pagination) Это пример проектирования API, а не универсальная гарантия снимка данных для любого сервиса. Для своего архива выясните сортировку, смысл токена, срок его действия и допустимость изменения фильтров.
Не анализируйте непрозрачный токен как собственный номер записи. Передавайте его предусмотренным способом и сохраняйте связь с исходными параметрами выборки. Если сервер требует неизменного фильтра, клиент не должен незаметно сдвигать временную границу при каждом следующем запросе.
Установить проверяемую границу
Определите, выгружается ли фиксированный снимок, записи до заданного момента или непрерывный поток. Для истории измерений учитывайте различие времени события и времени поступления. Поздняя запись может относиться к прошлому интервалу, но появиться на сервере уже после начала выгрузки.
Если одинаковое время имеют несколько событий, нужен документированный способ устойчивого различения. Сортировка только по секундам может быть неоднозначной. Не придумывайте дополнительный ключ на стороне клиента, если сервер не использует его в порядке продолжения: это не исправляет пропуски внутри API.
Провести опыт с изменяющимся архивом
Создайте учебный набор с известными идентификаторами и небольшими страницами. Во время выгрузки добавьте новые и поздние записи по согласованному сценарию. Сопоставьте фактически полученный список с ожидаемым контрактом, отдельно отмечая повторы и отсутствующие элементы.
Проверьте восстановление после остановки клиента между страницами. Сохранённый токен должен использоваться только в допустимых условиях. Если он истёк, проекту нужен понятный способ повторной выборки и обработки уже полученных событий, а не молчаливый старт с произвольной страницы.
Подтвердить полноту результата
В журнале фиксируйте параметры выборки, последовательность токенов и идентичность сохранённых записей без секретных данных доступа. Общее число страниц само по себе не показывает, что каждая запись нужного набора получена. Для критичного архива предусмотрите доступный способ сверки полноты.
Приёмка подтверждает конкретную модель изменяющихся данных и восстановление выгрузки. После обновления API или сортировки повторите опыт. Тогда постраничный транспорт не станет скрытым источником разрывов истории, а хозяйство сможет объяснить, какие события относятся к выгрузке и как будут получены поздние дополнения за уже просмотренный период.