Дифференциальная приватность: как измерять риск раскрытия данных

Простое удаление имени не мешает узнать человека по редкой комбинации признаков. Дифференциальная приватность задаёт более строгий вопрос: насколько изменится распределение ответа, если данные одного участника добавить или убрать. Наблюдателю должно быть трудно уверенно определить его присутствие.

Метод применяют к агрегатам, обучению и синтетическим данным. Он не делает безопасным любой результат автоматически: слабые параметры, множество повторных запросов и маленькие группы могут исчерпать гарантию.

Практическую оценку гарантий сверяйте с NIST SP 800-226. Для воспроизводимых экспериментов используйте документацию OpenDP.

Определите соседние наборы

Сначала очертите рабочий объект: два набора, отличающиеся одной записью. Формальная гарантия ограничивает влияние одной записи, но её сила зависит от параметров и композиции запросов. Ошибка «единица защиты остаётся неясной» здесь означает, что действие «зафиксировать участника и вклад» запускают без исходного доказательства «математическое описание соседства».

• Рабочее действие: зафиксировать участника и вклад.
• Сохраняемый артефакт: математическое описание соседства.
• Контрольная ситуация: один человек добавляется или удаляется целиком.
• Показатель решения: однозначность единицы защиты.

До настройки сохраните математическое описание соседства для объекта «два набора, отличающиеся одной записью». Затем выполните «зафиксировать участника и вклад» и разберите случай «один человек добавляется или удаляется целиком». Этап «Определите соседние наборы» принят, если специалист приватности подтверждает показатель «однозначность единицы защиты», а риск «единица защиты остаётся неясной» не проявляется на пограничной выборке.

За этот участок отвечает специалист приватности. В журнале он связывает объект «два набора, отличающиеся одной записью» с артефактом «математическое описание соседства», записывает версию входных данных, условия запуска и принятое решение. Если показатель «однозначность единицы защиты» улучшается ценой нового риска «единица защиты остаётся неясной», изменение не выпускают, пока не появится защитная метрика и план отката. Практический шаг «зафиксировать участника и вклад» должен воспроизводиться на примере «один человек добавляется или удаляется целиком».

Разберите пример отдельно: один человек добавляется или удаляется целиком. Полезно попросить второго специалиста повторить шаг «зафиксировать участника и вклад» без устного объяснения. Если он получает другой вывод, документация неполна. Если одинаковый — контроль можно включать в регрессионный набор и повторять после смены модели, данных, кода или назначения системы. Для объекта «два набора, отличающиеся одной записью» владелец «специалист приватности» сверяет артефакт «математическое описание соседства» с метрикой «однозначность единицы защиты».

Выберите запрос

Этап «Выберите запрос» рассматривает агрегат или обучение с ограниченной чувствительностью. Формальная гарантия ограничивает влияние одной записи, но её сила зависит от параметров и композиции запросов. Сбой возникает, когда шум добавляют к произвольной функции; поэтому сначала готовят контракт механизма, а затем выполняют «описать допустимый выход».

• Рабочее действие: описать допустимый выход.
• Сохраняемый артефакт: контракт механизма.
• Контрольная ситуация: публикуется число заказов, а не сырые строки.
• Показатель решения: число разрешённых статистик.

Раздел «Выберите запрос» проверяют обратным порядком: сначала фиксируют риск «шум добавляют к произвольной функции», затем воспроизводят «публикуется число заказов, а не сырые строки» и только после этого выполняют «описать допустимый выход». Вывод опирается на контракт механизма; метрику «число разрешённых статистик» подписывает аналитик данных.

За этот участок отвечает аналитик данных. В журнале он связывает объект «агрегат или обучение с ограниченной чувствительностью» с артефактом «контракт механизма», записывает версию входных данных, условия запуска и принятое решение. Если показатель «число разрешённых статистик» улучшается ценой нового риска «шум добавляют к произвольной функции», изменение не выпускают, пока не появится защитная метрика и план отката. Практический шаг «описать допустимый выход» должен воспроизводиться на примере «публикуется число заказов, а не сырые строки».

Разберите пример отдельно: публикуется число заказов, а не сырые строки. Полезно попросить второго специалиста повторить шаг «описать допустимый выход» без устного объяснения. Если он получает другой вывод, документация неполна. Если одинаковый — контроль можно включать в регрессионный набор и повторять после смены модели, данных, кода или назначения системы. Для объекта «агрегат или обучение с ограниченной чувствительностью» владелец «аналитик данных» сверяет артефакт «контракт механизма» с метрикой «число разрешённых статистик».

Ограничьте чувствительность

Для раздела «Ограничьте чувствительность» рабочая граница — максимальное влияние одной записи. Риск формулируется как «один участник вносит тысячи событий». Формальная гарантия ограничивает влияние одной записи, но её сила зависит от параметров и композиции запросов. Проверяемый ход — обрезать вклад по правилу, результат фиксируется в артефакте «порог contribution bounding».

• Рабочее действие: обрезать вклад по правилу.
• Сохраняемый артефакт: порог contribution bounding.
• Контрольная ситуация: клиент учитывается не более одного раза в период.
• Показатель решения: максимальный вклад участника.

Для объекта «максимальное влияние одной записи» соберите обычный, крайний и ошибочный вход. Действие «обрезать вклад по правилу» должно дать проверяемый порог contribution bounding. В сценарии «клиент учитывается не более одного раза в период» роль математик принимает решение по значению «максимальный вклад участника» и отдельно записывает, возник ли риск «один участник вносит тысячи событий».

За этот участок отвечает математик. В журнале он связывает объект «максимальное влияние одной записи» с артефактом «порог contribution bounding», записывает версию входных данных, условия запуска и принятое решение. Если показатель «максимальный вклад участника» улучшается ценой нового риска «один участник вносит тысячи событий», изменение не выпускают, пока не появится защитная метрика и план отката. Практический шаг «обрезать вклад по правилу» должен воспроизводиться на примере «клиент учитывается не более одного раза в период».

Разберите пример отдельно: клиент учитывается не более одного раза в период. Полезно попросить второго специалиста повторить шаг «обрезать вклад по правилу» без устного объяснения. Если он получает другой вывод, документация неполна. Если одинаковый — контроль можно включать в регрессионный набор и повторять после смены модели, данных, кода или назначения системы. Для объекта «максимальное влияние одной записи» владелец «математик» сверяет артефакт «порог contribution bounding» с метрикой «максимальный вклад участника».

Назначьте epsilon

Исходная точка пункта «Назначьте epsilon»: параметр силы гарантии для сценария. До изменения сохраните решение с обоснованием. Если сразу перейти к шагу «согласовать риск и полезность», может проявиться ошибка «значение копируют из чужого проекта». Формальная гарантия ограничивает влияние одной записи, но её сила зависит от параметров и композиции запросов.

• Рабочее действие: согласовать риск и полезность.
• Сохраняемый артефакт: решение с обоснованием.
• Контрольная ситуация: публичная статистика и внутренняя аналитика получают разные бюджеты.
• Показатель решения: epsilon на выпуск.

Приёмка этапа «Назначьте epsilon» начинается с независимого повтора. Второй специалист получает решение с обоснованием, применяет «согласовать риск и полезность» к контуру «параметр силы гарантии для сценария» и сверяет «epsilon на выпуск». Случай «публичная статистика и внутренняя аналитика получают разные бюджеты» считается обязательным; ошибка «значение копируют из чужого проекта» останавливает выпуск.

За этот участок отвечает владелец риска. В журнале он связывает объект «параметр силы гарантии для сценария» с артефактом «решение с обоснованием», записывает версию входных данных, условия запуска и принятое решение. Если показатель «epsilon на выпуск» улучшается ценой нового риска «значение копируют из чужого проекта», изменение не выпускают, пока не появится защитная метрика и план отката. Практический шаг «согласовать риск и полезность» должен воспроизводиться на примере «публичная статистика и внутренняя аналитика получают разные бюджеты».

Разберите пример отдельно: публичная статистика и внутренняя аналитика получают разные бюджеты. Полезно попросить второго специалиста повторить шаг «согласовать риск и полезность» без устного объяснения. Если он получает другой вывод, документация неполна. Если одинаковый — контроль можно включать в регрессионный набор и повторять после смены модели, данных, кода или назначения системы. Для объекта «параметр силы гарантии для сценария» владелец «владелец риска» сверяет артефакт «решение с обоснованием» с метрикой «epsilon на выпуск».

Задайте delta

В задаче «Задайте delta» ожидаемый объект — допустимая вероятность редкого нарушения. Формальная гарантия ограничивает влияние одной записи, но её сила зависит от параметров и композиции запросов. Команда отдельно записывает опасение «delta оставляют значением библиотеки», выполняет «связать параметр с размером популяции» и оставляет карточка параметров для повторной проверки.

• Рабочее действие: связать параметр с размером популяции.
• Сохраняемый артефакт: карточка параметров.
• Контрольная ситуация: исключение существенно меньше обратного числа участников.
• Показатель решения: delta и основание.

Не демонстрируйте раздел «Задайте delta» на одном удобном примере. Возьмите «исключение существенно меньше обратного числа участников», сохраните карточка параметров и попросите роль специалист метода выполнить «связать параметр с размером популяции». Решение по объекту «допустимая вероятность редкого нарушения» принимают по метрике «delta и основание», учитывая риск «delta оставляют значением библиотеки».

За этот участок отвечает специалист метода. В журнале он связывает объект «допустимая вероятность редкого нарушения» с артефактом «карточка параметров», записывает версию входных данных, условия запуска и принятое решение. Если показатель «delta и основание» улучшается ценой нового риска «delta оставляют значением библиотеки», изменение не выпускают, пока не появится защитная метрика и план отката. Практический шаг «связать параметр с размером популяции» должен воспроизводиться на примере «исключение существенно меньше обратного числа участников».

Разберите пример отдельно: исключение существенно меньше обратного числа участников. Полезно попросить второго специалиста повторить шаг «связать параметр с размером популяции» без устного объяснения. Если он получает другой вывод, документация неполна. Если одинаковый — контроль можно включать в регрессионный набор и повторять после смены модели, данных, кода или назначения системы. Для объекта «допустимая вероятность редкого нарушения» владелец «специалист метода» сверяет артефакт «карточка параметров» с метрикой «delta и основание».

Выберите механизм шума

Эксперимент «Выберите механизм шума» ограничьте контуром «распределение под тип запроса и гарантию». Главная ловушка: шум добавляют после округления без анализа. Действие «использовать проверенную реализацию» допустимо после фиксации материала «версия библиотеки». Формальная гарантия ограничивает влияние одной записи, но её сила зависит от параметров и композиции запросов.

• Рабочее действие: использовать проверенную реализацию.
• Сохраняемый артефакт: версия библиотеки.
• Контрольная ситуация: счётчик обрабатывается механизмом Лапласа или Гаусса по условиям.
• Показатель решения: проверка параметров механизма.

Эксперимент для «Выберите механизм шума» замораживают до изменения: объект «распределение под тип запроса и гарантию», пример «счётчик обрабатывается механизмом Лапласа или Гаусса по условиям», ожидаемый показатель «проверка параметров механизма». После шага «использовать проверенную реализацию» должен появиться версия библиотеки. Ответственный инженер отклоняет вариант, если сохраняется риск «шум добавляют после округления без анализа».

За этот участок отвечает инженер. В журнале он связывает объект «распределение под тип запроса и гарантию» с артефактом «версия библиотеки», записывает версию входных данных, условия запуска и принятое решение. Если показатель «проверка параметров механизма» улучшается ценой нового риска «шум добавляют после округления без анализа», изменение не выпускают, пока не появится защитная метрика и план отката. Практический шаг «использовать проверенную реализацию» должен воспроизводиться на примере «счётчик обрабатывается механизмом Лапласа или Гаусса по условиям».

Разберите пример отдельно: счётчик обрабатывается механизмом Лапласа или Гаусса по условиям. Полезно попросить второго специалиста повторить шаг «использовать проверенную реализацию» без устного объяснения. Если он получает другой вывод, документация неполна. Если одинаковый — контроль можно включать в регрессионный набор и повторять после смены модели, данных, кода или назначения системы. Для объекта «распределение под тип запроса и гарантию» владелец «инженер» сверяет артефакт «версия библиотеки» с метрикой «проверка параметров механизма».

Учтите композицию

На собственном материале проверьте накопление потерь от серии выпусков. Формальная гарантия ограничивает влияние одной записи, но её сила зависит от параметров и композиции запросов. Если возникает «каждый отчёт считают независимым», вернитесь к шагу «вести privacy ledger» и пересоберите журнал бюджета, не меняя одновременно остальные условия.

• Рабочее действие: вести privacy ledger.
• Сохраняемый артефакт: журнал бюджета.
• Контрольная ситуация: ежедневные срезы тратят общий месячный лимит.
• Показатель решения: израсходованный бюджет.

В разделе «Учтите композицию» сравните две версии на одинаковом входе «ежедневные срезы тратят общий месячный лимит». Свидетельство журнал бюджета связывает объект «накопление потерь от серии выпусков» с действием «вести privacy ledger». Итоговый показатель — «израсходованный бюджет»; владелец владелец платформы отдельно проверяет ошибку «каждый отчёт считают независимым».

За этот участок отвечает владелец платформы. В журнале он связывает объект «накопление потерь от серии выпусков» с артефактом «журнал бюджета», записывает версию входных данных, условия запуска и принятое решение. Если показатель «израсходованный бюджет» улучшается ценой нового риска «каждый отчёт считают независимым», изменение не выпускают, пока не появится защитная метрика и план отката. Практический шаг «вести privacy ledger» должен воспроизводиться на примере «ежедневные срезы тратят общий месячный лимит».

Разберите пример отдельно: ежедневные срезы тратят общий месячный лимит. Полезно попросить второго специалиста повторить шаг «вести privacy ledger» без устного объяснения. Если он получает другой вывод, документация неполна. Если одинаковый — контроль можно включать в регрессионный набор и повторять после смены модели, данных, кода или назначения системы. Для объекта «накопление потерь от серии выпусков» владелец «владелец платформы» сверяет артефакт «журнал бюджета» с метрикой «израсходованный бюджет».

Проверяйте малые группы

Владельца для этапа «Проверяйте малые группы» назначают до работы с объектом «сегменты, где шум сопоставим с сигналом». Формальная гарантия ограничивает влияние одной записи, но её сила зависит от параметров и композиции запросов. Он не допускает ошибку «общая точность скрывает бесполезный регион», требует выполнить «считать ошибку по размерам групп» и принять срез полезности.

• Рабочее действие: считать ошибку по размерам групп.
• Сохраняемый артефакт: срез полезности.
• Контрольная ситуация: для редкой категории знак изменения становится ненадёжным.
• Показатель решения: ошибка и покрытие интервала.

Для решения по этапу «Проверяйте малые группы» недостаточно слов автора. Сначала роль статистик получает срез полезности, затем повторяет «считать ошибку по размерам групп» и проверяет объект «сегменты, где шум сопоставим с сигналом» на ситуации «для редкой категории знак изменения становится ненадёжным». Метрика «ошибка и покрытие интервала» принимается только без проявления риска «общая точность скрывает бесполезный регион».

За этот участок отвечает статистик. В журнале он связывает объект «сегменты, где шум сопоставим с сигналом» с артефактом «срез полезности», записывает версию входных данных, условия запуска и принятое решение. Если показатель «ошибка и покрытие интервала» улучшается ценой нового риска «общая точность скрывает бесполезный регион», изменение не выпускают, пока не появится защитная метрика и план отката. Практический шаг «считать ошибку по размерам групп» должен воспроизводиться на примере «для редкой категории знак изменения становится ненадёжным».

Разберите пример отдельно: для редкой категории знак изменения становится ненадёжным. Полезно попросить второго специалиста повторить шаг «считать ошибку по размерам групп» без устного объяснения. Если он получает другой вывод, документация неполна. Если одинаковый — контроль можно включать в регрессионный набор и повторять после смены модели, данных, кода или назначения системы. Для объекта «сегменты, где шум сопоставим с сигналом» владелец «статистик» сверяет артефакт «срез полезности» с метрикой «ошибка и покрытие интервала».

Защитите сырой контур

Контрольный пример раздела «Защитите сырой контур» должен раскрывать доступ к исходным данным до механизма. Риск — приватный отчёт соседствует с открытой таблицей. Формальная гарантия ограничивает влияние одной записи, но её сила зависит от параметров и композиции запросов. Пример проходит действие «ограничить вычислительную среду», после чего команда получает матрица доступа.

• Рабочее действие: ограничить вычислительную среду.
• Сохраняемый артефакт: матрица доступа.
• Контрольная ситуация: аналитик получает только прошедший механизм результат.
• Показатель решения: число прямых доступов.

Контроль «Защитите сырой контур» включите в регрессионный набор. Он хранит матрица доступа, вход «аналитик получает только прошедший механизм результат» и ожидаемую величину «число прямых доступов». При повторе действия «ограничить вычислительную среду» специалист специалист безопасности должен подтвердить объект «доступ к исходным данным до механизма» и отсутствие сбоя «приватный отчёт соседствует с открытой таблицей».

За этот участок отвечает специалист безопасности. В журнале он связывает объект «доступ к исходным данным до механизма» с артефактом «матрица доступа», записывает версию входных данных, условия запуска и принятое решение. Если показатель «число прямых доступов» улучшается ценой нового риска «приватный отчёт соседствует с открытой таблицей», изменение не выпускают, пока не появится защитная метрика и план отката. Практический шаг «ограничить вычислительную среду» должен воспроизводиться на примере «аналитик получает только прошедший механизм результат».

Разберите пример отдельно: аналитик получает только прошедший механизм результат. Полезно попросить второго специалиста повторить шаг «ограничить вычислительную среду» без устного объяснения. Если он получает другой вывод, документация неполна. Если одинаковый — контроль можно включать в регрессионный набор и повторять после смены модели, данных, кода или назначения системы. Для объекта «доступ к исходным данным до механизма» владелец «специалист безопасности» сверяет артефакт «матрица доступа» с метрикой «число прямых доступов».

Объясните результат

Свяжите пункт «Объясните результат» с решением человека о контуре «шум, интервал и запрет точной интерпретации». Формальная гарантия ограничивает влияние одной записи, но её сила зависит от параметров и композиции запросов. Без шага «показывать метод и неопределённость» и артефакта «паспорт публикации» нельзя исключить ошибку «пользователь принимает число за точный факт».

• Рабочее действие: показывать метод и неопределённость.
• Сохраняемый артефакт: паспорт публикации.
• Контрольная ситуация: изменение в пределах шума не объявляется трендом.
• Показатель решения: доля выводов с интервалом.

Перед закрытием пункта «Объясните результат» воспроизведите цепочку: шум, интервал и запрет точной интерпретации; показывать метод и неопределённость; паспорт публикации. На примере «изменение в пределах шума не объявляется трендом» измерьте «доля выводов с интервалом». Роль владелец отчёта выбирает запуск, исправление или отказ, если обнаруживается риск «пользователь принимает число за точный факт».

За этот участок отвечает владелец отчёта. В журнале он связывает объект «шум, интервал и запрет точной интерпретации» с артефактом «паспорт публикации», записывает версию входных данных, условия запуска и принятое решение. Если показатель «доля выводов с интервалом» улучшается ценой нового риска «пользователь принимает число за точный факт», изменение не выпускают, пока не появится защитная метрика и план отката. Практический шаг «показывать метод и неопределённость» должен воспроизводиться на примере «изменение в пределах шума не объявляется трендом».

Разберите пример отдельно: изменение в пределах шума не объявляется трендом. Полезно попросить второго специалиста повторить шаг «показывать метод и неопределённость» без устного объяснения. Если он получает другой вывод, документация неполна. Если одинаковый — контроль можно включать в регрессионный набор и повторять после смены модели, данных, кода или назначения системы. Для объекта «шум, интервал и запрет точной интерпретации» владелец «владелец отчёта» сверяет артефакт «паспорт публикации» с метрикой «доля выводов с интервалом».

Матрица приёмки

Что изучить дальше

• синтетические данные
• персональные данные в ИИ
• обезличивание документа
• AI Governance
• аудит ИИ-систем
• нейросеть для анализа данных
• политика использования ИИ

Чек-лист запуска