До недавнего времени черепичная запись Shingle Magnetic Recording (SMR) использовалась в недорогих моделях жёстких дисков Seagate, а также во всех моделях компании типоразмера 2.5”. Такие диски заслуженно получили репутацию медленных, с нестабильной скоростью записи и случайного доступа. Второй производитель жёстких дисков, Western Digital, долгое время оставался в стороне, продолжая выпускать накопители, использующие конвенционный способ записи CMR. Многие пользователи основывали свой выбор накопителя, исходя именно из этого критерия.

Недавние событие перевернуло привычные представления: в дисках Western Digital, предназначенных для работы в составе многодисковых сетевых хранилищ, обнаружилась «черепица», что приводило к отказам в работе RAID массивов. В этой статье мы подробно расскажем о том, что такое черепичная запись, в каких сценариях её использование допустимо, в чём состоят отличия между подходами WD и Seagate и к чему привело журналистское расследование.

Скандальная черепица

Не так давно в сети развернулся скандал: в дисках линейки WD Red, предназначенных для работы в составе сетевых хранилищ, обнаружились недокументированная особенность. Хронология событий такова.

2 апреля 2020

Пользователем Кристиан Франке (Christian Franke) было опубликовано исследование, в котором было рассказано об использовании недокументированной технологии SMR (черепичной записи Shingled Magnetic Recording) в некоторых дисках линейки WD Red. Кристиан описал, к каким именно проблемам это приводит в рамках массивов. Известные особенности технологии приводили к деградации массивов RAID в случаях, когда такие диски использовались совместно с «классическими» дисками (CMR, Conventional Magnetic Recording). Более того, восстановление таких массивов оказывалось невозможным из-за постоянных повторных выпаданий диска с SMR.

Задолго до этого пользователи задавались вопросом «не используется ли в данной модели технология SMR?» Представители Western Digital под разными предлогами отказывались разглашать используемую в дисках технологию. «Мы не разглашаем особенности внутреннего функционирования наших дисков конечным потребителям». Вот цитата ответа из техподдержки:

I understand your concern regarding the PMR and SMR specifications of your WD Red drive.

Please be informed that the information about the drive is whether use Perpendicular Magnetic Recording (PMR) or Shingled Magnetic Recording (SMR), is not something that we typically provide to our customers. I am sorry for the inconvenience caused to you.

What I can tell you that the most products shipping today are Conventional Recording (PMR). We began shipping SMR (Shingled Magnetic Recording) at the start of 2017. For more information please refer the link mentioned below.

Вот другой вариант ответа.

We have received your inquiry whether internal WD Red drive WD40EFAX would use SMR technology. I will do my best here to assist and please accept our sincere apologies for the late reply.

Please note that information on which of our drives use PMR or SMR is not public and is not something that we typically provide to our customers. What we can tell you is that most WD products shipping today are Conventional Recording (PMR) — please see additional information below. However, we began shipping SMR (Shingled Magnetic Recording) at the start of 2017.

(Источник)

В переводе: «Большое спасибо за обращение. Обращаем ваше внимание, что информация об использовании PMR и SMR не является публично доступной и не разглашается нашим клиентам. Однако могу сообщить, что большая часть поставляемых WD продуктов использует CMR; ниже – дополнительная информация. Тем не менее, в начале 2017 мы начали отгружать диски с SMR.»

Примерно такой ответ получил Кристиан Франке. Кристиан на этом не остановился, получив в результате такой ответ:

Just a quick note. The only SMR drive that Western Digital will have in production is our 20TB hard enterprise hard drives and even these will not be rolled out into the channel.

All of our current range of hard drives are based on CMR Conventional Magnetic Recording.

With SMR Western Digital would make it very clear as that format of hard drive requires a lot of technological tweaks in customer systems.

With regards

Yemi Elegunde
Enterprise & Channel Sales Manager UK
Western Digital®
WDC UK, a Western Digital company

В ответе утверждается, что единственный диск WD с SMR – это накопитель на 20 ТБ, предназначенный для крупных хранилищ данных. По утверждению представителя WD, все остальные диски компании использовали CMR.

Дальнейшие попытки добиться хоть какой-то внятной информации привели к предложению «обсудить проблему с инженерами и специалистами по жёстким дискам в телеконференции». Телеконференция, впрочем, не состоялась. Пользователи обратились к журналистам.

14 апреля 2020

Итак, Кристиан написал журналистам специализированного издания Blocks & Files. Журналисты разобрались в проблеме и выпустили статью:

Western Digital admits 2TB-6TB WD Red NAS drives use shingled magnetic recording

Как мы знаем, основной конкурент Western Digital – компания Seagate, — использует черепичную запись в накопителях линеек Archive и BarraCuda Compute уже много лет. Почему же именно в данном случае использование SMR стало проблемой?

В статье приводится несколько примеров. В частности, пользователи, которые заменяли вышедшие из строя диски WD Red 6TB WD60EFRX на новые модели WD60EFAX получали атипично длительное время перестроения массивов SHR1 и RAID5 (от 2 до 8 дней). У некоторых пользователей перестроение и вовсе завершалось с ошибкой: новый диск попросту исключался из массива как неисправный. Очевидно, что в ряде сценариев новые диски работают в разы хуже в сравнении с предыдущей моделью, а в некоторых случаях – не выполняют заявленную задачу вовсе. Обман потребителя в полный рост – но представители Western Digital отказывались как-либо комментировать ситуацию или просто признать сам факт использования новой технологии записи.

Именно в этот момент журналистам удалось впервые получить от Western Digital внятный ответ: «Актуальные модели WD Red 2TB-6TB компании Western Digital используют drive-managed SMR (DMSMR). Диски WD Red 8TB-14TB основаны на CMR. […] Вы правы в том, что мы не указываем технологию записи в документации на диски WD Red. […] При тестировании дисков WD Red мы не обнаружили проблем с перестроением RAID из-за технологии SMR».

В своё оправдание WD приводит следующий аргумент: «В типичной среде домашних NAS и NAS для малого бизнеса типичные нагрузки скачкообразны, оставляя достаточное время для сбора мусора и других сервисных операций». Журналисты из Blocks & Files возразили, что далеко не все нагрузки в рамках сетевых хранилищ «типичны» с точки зрения производителя. Скандал продолжал развиваться.

15 апреля 2020

Статья попала в точку: проблема назрела уже у большого количества пользователей. Поднявшаяся в сети волна публикаций и обсуждений побудила Blocks & Files продолжить расследование.

В статье Shingled hard drives have non-shingled zones for caching writes рассказывается о «ленточной» организации черепичного хранилища, как и о том, что у каждого SMR накопителя есть буфер, использующий классическую запись CMR. Здесь прямая аналогия с современными накопителями SSD: есть медленная TLC или даже QLC NAND, но часть её используется для буферизации записей в качестве псевдо-SLC кэша. Так и здесь: в жёстких дисках, использующих черепичную запись SMR, есть области CMR, использующиеся для ускорения записи. Таким образом у пользователя, который тестирует диск популярным пакетом CrystalDiskMark, возникает иллюзия нормальности: диск и читает, и пишет данные без каких-либо сюрпризов.

Неожиданность просиходит тогда, когда объём записанных данных превышает размер области CMR или весь диск был однажды заполнен данными, после чего накопителю приходится на лету «уплотнять» информацию. Такие ситуации в рамках NAS могут наступить как минимум в двух случаях: в случае перестроения массива класса RAID5 и подобных, в которых используются контрольные суммы, и в случае записи большого объёма данных (например, при создании и сохранении на диск обычной резервной копии). В таких сценариях видимая скорость записи падает в разы, а то и на один-два порядка. В моих собственных тестах скорость перезаписи заполненного накопителя периодически проседала до 1-10 МБ/с при записи единственного файла объёмом 1.5 ТБ (резервная копия системы). Я нахожу такую скорость неприемлемой.

В той же статье автор рассказал и о том, что происходит при попытке перестроения массива RAID5/6, если новый диск использует SMR. Огромное количество операций случайного ввода-вывода быстро приводит к переполнению буферной области CMR; контроллер не успевает справиться с нагрузкой, возвращая ошибку отказа в обслуживании. Спустя короткое время (порядка 40 минут) диск полностью уходит в себя, а контроллер RAID исключает его из массива, помечая как неисправный.

Что интересно, ничего подобного не происходит при использовании других типов массивов – RAID0/1, а также при создании нового массива RAID5/6. Создаётся впечатление, что разработчики Western Digital попросту не проверили новые диски в сценарии перестроения массива RAID5/6, ограничившись лишь самыми простейшими сценариями.

15 апреля 2020

В очередной статье Seagate ‘submarines’ SMR into 3 Barracuda drives and a Desktop HDD журналисты продолжили эксплуатировать тему SMR, рассказав, что подобной практикой занимается и компания Seagate.

Seagate давно использует SMR в своих накопителях на 2.5, архивных Archive и десктопных BarraСuda Compute. Об этом было известно давно, компания никогда не скрывала эту информацию. В то же время диски Seagate, предназначенные для работы в NAS (линейки Ironwolf и Ironwolf Pro) SMR не используют, что, собственно, и подтвердила компания в официальном пресс-релизе. Таким образом, скандала не получилось: покупатель, который хотя бы минимально интересуется состоянием дел, всегда имеет возможность понять, какой именно диск он покупает и для чего. Особенности черепичной записи SMR описаны Seagate в технической документации к соответствующим накопителям; о них мы ещё поговорим, пока же вернёмся к хронологии.

16 апреля 2020

На следующий день журналисты выяснили, что и в некоторых дисках Toshiba также используется SMR: Toshiba desktop disk drives have shingles too. Не уверен, что это кому-то интересно с учётом исчезающей доли накопителей Toshiba в типоразмере 3.5”. Впрочем, ознакомиться со списком моделей дисков Toshiba, в которых используется SMR, в любом случае не помешает. На сегодняшний день это 3.5” диски Toshiba P300 Desktop PC и DT02 объёмом 4 и 6 ТБ, а также все без исключения 2.5” модели поколения MQ04.

20 апреля 2020

В Western Digital определённо забеспокоились. В статье SMR in disk drives: PC vendors also need to be transparent опубликован официальный ответ Western Digital, в котором компания уверяет, что никаких проблем у дисков на самом деле нет, если их правильно использовать. Более свежую версию ответа можно прочесть в блоге Western Digital. Из текста можно сделать вывод, что перестроение массивов RAID5/6 для дисков серии WD Red – неправильное использование и нецелевое, а понятия NAS и RAID – понятия хоть и близкие, но не эквивалентные. Если пользователь желает использовать диск для NAS в составе массива RAID5/6, то стоит купить модель подороже – например, из линейки Ultrastar DC, WD Gold или WD Red Pro. Именно так и написано, буквально: «If you are encountering performance that is not what you expected, please consider our products designed for intensive workloads. These may include our WD Red Pro or WD Gold drives, or perhaps an Ultrastar drive.» Не буду цитировать целиком этот шедевр работы департамента Western Digital по связи с общественностью, с ним можно ознакомиться по ссылке выше.

21 апреля 2020

Разумеется, основной конкурент, компания Seagate, не смог не прокомментировать ситуацию. В статье Seagate says Network Attached Storage and SMR don’t mix представитель компании подчёркивает, что Seagate никогда не использовал черепичную запись в дисках Ironwolf и Ironwolf Pro, предназначенных для NAS, и не рекомендует использовать диски с SMR в сетевых хранилищах.

23 апреля 2020

Журналисты не смогли пройти мимо постинга WD. В статье Western Digital implies WD Red NAS SMR drive users are responsible for overuse problems задаются вполне резонные вопросы: а как, собственно, пользователь может – даже в теории! – узнать о потенциальных проблемах, если WD хранила сам факт использования SMR в NAS-накопителях в секрете, отказываясь даже честно ответить на прямо заданный вопрос? И если уж пользователей обвинили в  «нецелевом» использовании дисков, то определите формально «целевые» и «нецелевые» сценарии для каждой модели и линейки моделей. В старом WD60EFRX перестроение RAID5/6 было «целевым» сценарием, а в новой WD60EFAX стало «нецелевым». С этим можно работать, но… Но клиентам об этом сообщить забыли, а на заданные вопросы отвечать отказались. Прямо скажем, игра на грани фола – что и привело впоследствии к подаче коллективного судебного иска.

24 апреля 2020

В Western Digital сдались: компания опубликовала полный список накопителей в форм-факторе 3.5”, в которых используется SMR.

Технология черепичной записи остаётся в накопителях WD Red, предназначенных для NAS, но производитель после беспрецедентного давления общественности нехотя и с оговорками согласился больше не делать из этого секрета. Теперь пользователь может сделать информированный выбор: покупать «старую» модель WD Red без SMR или «новую» — с SMR. Или уйти к конкуренту, который не использует SMR в накопителях для NAS вовсе. Или взять наполненный гелием диск объёмом от 8 ТБ.

23 июня 2020

Не прошло и двух месяцев, как компания «решила проблему», и выходит очередная новость: модельный ряд накопителей WD Red расширен линейкой WD Red Plus, в которой используется конвенционный способ записи CMR. Теперь серия накопителей WD Red включает в себя стандартную версию WD Red (в ней будет использоваться черепичная запись SMR), WD Red Plus (классический способ записи CMR) и оставшуюся без изменений WD Red Pro.

В версию WD Plus вошли жёсткие диски объёмом от 2 до 6 ТБ, в которых, как и до журналистского расследования, будет использоваться классическая запись CMR. В наименованиях новых дисков также появилось отличие — вместо предпоследней буквы «A» (модели WDxxEFAX) теперь ставится «R» (WDxxEFRX), что позволяет отличить диски с CMR от моделей с SMR.

Всё бы неплохо, но «новая» модель WD Red Plus с идентификатором WD60EFRX с точностью до надписей на этикетках совпадает со «старой», снятой с производства моделью WD Red WD60EFRX. Только теперь «новая» модель носит гордое название Plus, а продаётся дороже снятой было с производства «старой». За такой способ решения собственноручно созданной проблемы компания уже подверглась массивной критике.

Что ж, посмотрим на то, как на самом деле обстоит дело с дисками, использующими технологию черепичной записи; являются ли они абсолютным злом или в некоторых сценариях экономию можно оправдать.

Реализация SMR у Seagate: привычное зло

Проще всего дела обстоят у Seagate. Покупая недорогой диск от Seagate, пользователь, скорее всего, получит модель с черепичной записью. На сегодняшний день дела в стане Seagate обстоят следующим образом.

Линейки Seagate Archive и BarraCuda Compute: как правило, поставляются с SMR. Именно такие диски устанавливаются во внешние накопители линеек Expansion Desktop и Backup Plus Hub ёмкостью до 8 ТБ включительно.

Линейка BarraCuda Pro обходится без SMR. Кстати, все диски Seagate объёмом от 10 ТБ также используют обычный способ записи CMR; это объясняет заметную разницу в цене между моделями внешних накопителей Seagate на 8 и 10 ТБ.

Во всех дисках для NAS линеек IronWolf и IronWolf Pro используется честная перпендикулярная запись (CMR).

Что такое черепичная запись? Подробная иллюстрированная статья выложена на сайте Seagate — очень рекомендую ознакомиться.

При черепичном способе записи дорожки записываются на диск не параллельно, а с перехлёстом, как черепицы на крыше, что позволяет дополнительно уплотнить запись. Использование черепичного способа записи позволяет производителям сэкономить на производстве, сделать диск менее шумным и менее тяжёлым за счёт меньшего количества вращающихся «блинов» и головок чтения-записи.

А что насчёт надёжности дисков с SMR? Когда технология только появилась на рынке, у пользователей были большие сомнения относительно долговременной надёжности таких дисков. На сегодняшний день можно констатировать, что надёжность дисков с SMR при обычном использовании в качестве архивных накопителей не хуже надёжности дисков с CMR аналогичной ёмкости, а в отдельных случаях может даже превышать её за счёт упрощения механической части.

Неприятная особенность реализации SMR у Seagate в том, что диски выдерживают хорошую скорость записи на протяжении лишь первого цикла заполнения диска. Но стоит пользователю заполнить диск целиком и начать перезаписывать данные (сценарий, совершенно типичный для регулярных резервных копий), как скорость перезаписи падает в разы в сравнении с записью на свежий диск. Ситуация чем-то напоминает ту, в которой оказались производители первых твердотельных накопителей SSD: запись в блок происходит быстро, а для перезаписи единственного байта требуется считать целый (и довольно крупный) блок данных, модифицировать нужные данные и сохранить изменённую информацию. Так и здесь: для перезаписи единственной дорожки нужно сначала считать все последующие дорожки, которые входят в объединённый блок (ленту), после чего записать нужную дорожку и восстановить из буфера все последующие.

Вот что имеет на эту тему сказать производитель Seagate:

C технологией SMR связана следующая проблема: если нужно перезаписать либо обновить часть информации, переписать придётся не только требуемый фрагмент, но и данные на последующих дорожках. Поскольку записывающий элемент шире неперекрывающейся области дорожки, он захватывает также данные на граничащих дорожках, а значит, потом придётся перезаписать и их (рис. 3). Таким образом, при изменении данных на нижней дорожке, нужно скорректировать данные на ближайшей наложенной дорожке, потом на следующей, и так далее, пока не будет переписана вся пластина.

Рис. 3. Записывающий элемент перекрывает накладывающиеся дорожки

По этой причине дорожки SMR-диска объединены в небольшие группы, называемые лентами. Накладываются друг на друга, соответственно, только дорожки в пределах одной ленты (рис. 4). Благодаря такому группированию в случае обновления некоторых данных перезаписывать придется не всю пластину, а лишь ограниченное количество дорожек, что существенно упрощает и ускоряет процесс.

Рис. 4. Структура ленты на SMR-диске

(источник)

Такая организация приводит к тому, что скорость перезаписи данных падает с условных 180 МБ/с до 40-50 МБ/с. Обойти проблему можно попытаться, включив для диска кеширование записи и осуществляя запись крупными блоками, размер которых не меньше размера одной ленты. Так, тестовый образец LaCie 2.5″ 4TB демонстрировал скорость записи на чистый накопитель порядка 130 МБ/с. После первого заполнения диска скорость записи данных упала до 20-40 МБ/с; что характерно, не помогло ни форматирование диска, ни переразбивка на разделы. Ещё хуже себя показал вариант ёмкостью 5 ТБ, скорость перезаписи данных которого упала ниже 10 МБ/с. Частично исправить ситуацию помогло включение кеширования записи и запись данных крупными блоками; впрочем, даже так первоначальная высокая скорость записи не восстановилась.

Проиллюстрирую работу SMR в момент перезаписи данных. Увидеть подобные цифры получится лишь после того, как весь объём диска был заполнен хотя бы единожды, а объём записываемых в течение одной сессии данных превышает размер буфера CMR (при этом очистка или переформатирование диска никак не повлияют на производительность). На первом скриншоте — запись с отключённым кэшированием записи. Скорость записи периодически проседает от 1 до 10 МБ/с. Эта скорость обнажает внутреннюю суть процесса. В процессе записи контроллер считывает ленту (блок черепичных дорожек) в буфер; модифицирует одну дорожку; записывает всю ленту из буфера на диск. Следующая дорожка — повторение цикла. В результате имеем процесс, который на Reddit описали так: «Многие говорят, что SMR — это медленно, но мало кто представляет, насколько медленно это на самом деле. Представьте, что вам нужно пропихнуть слона через замочную скважину. Представили? А теперь представьте, что с другой стороны активно сопротивляются. Вот это и будет запись SMR.»

Скорость перезаписи с отключённым кэшем на запись.

На втором скриншоте — то же самое, но с включённым кэшированием записи. Теперь в буфер накопителя попадает не дорожка, а вся лента целиком (точнее, может попадать — фактического размера ленты и того, как он соотносится с размером буфера накопителя, мы не знаем). Если бы контроллер накопителя был чуточку умнее (или хотя бы поддерживал инструкцию trim, как в WD), то он понял бы, что нужно перезаписать всю ленту целиком — и сделал бы именно это. Но — нет; контроллер раз за разом считывает ленту в буфер, модифицирует данные и записывает их обратно. Скорость записи в результате варьируется от нулевой до максимальной (около 100 МБ/с в этой части диска).

Скорость перезаписи с включённым кэшем на запись.

На скриншотах хорошо видна одна из проблем накопителей с SMR: чрезвычайно медленная перезапись больших массивов данных. Учитывая, что такие диски (на скриншоте – модель Seagate Backup Plus 5TB) часто продаются для хранения резервных копий, размер которых может достигать от сотен гигабайт до нескольких терабайт, такая производительность на основной (и, по сути, единственной) задаче устройства – совершенно неприемлема.

А что насчёт скорости чтения? Хорошо известная проблема SMR – низкая скорость позиционирования головок, связанная с высокой плотностью расположения дорожек. Соответственно, случайный доступ к данным, в отличие от последовательного, при прочих равных условиях в моделях с SMR будет ниже, чем в дисках без «черепицы». Но на этом проблемы не заканчиваются. В дисках с SMR без trim так же, как и в накопителях SSD, используется механизм трансляции адресов. Диск старается записать новую порцию данных сначала в CMR буфер, а когда он заполнен — в первую свободную ленту. Соответственно, происходит трансляция логических адресов в физические; при этом возникает внутренняя фрагментация данных. И если для SSD внутренняя фрагментация не играет никакой роли, то в случае с механическими дисками мы получаем двойной удар: файлы «размазываются» по незанятым лентам, и при этом скорость случайного доступа низкая из-за увеличенных требований к точности позиционирования головки. В результате при неудачном стечении обстоятельств мы получаем диск, чтение данных с которого превращается в пресловутое проталкивание слона через замочную скважину.

Впрочем, модель модели рознь. В упомянутом выше внешнем накопителе используется диск Seagate BarraCuda 5TB (ST5000LM000), которая была одной из первых 2.5” моделей с SMR. Реализация черепичной записи в нём сырая, чем-то напоминает поведение самых первых SSD, которые теряли в скорости записи сразу после первого заполнения. Моё мнение: в таком виде накопитель нельзя было выпускать на рынок.

А в каком – можно? Можно ли сделать так, чтобы дисками с SMR можно было пользоваться, не испытывая заметных неудобств? Оказывается, даже в рамках технологии SMR можно создавать вполне неплохие диски (разумеется, со своими ограничениями и узким спектром сценариев использования), если правильно сделать программную часть – прошивку контроллера. И получилось это сделать впервые не у Seagate, пионера технологии, а у основного конкурента – компании Western Digital, героя этой статьи.

Реализация SMR от WD: команда trim, как в SSD

На сегодняшний день между реализацией SMR от Seagate и Western Digital есть одно, но очень важное отличие: поддержка накопителями WD команды trim. Использование этой команды меняет если не всё, то многое. Но позволяет ли поддержка trim говорить о том, что накопители с SMR можно использовать в рамках RAID массивов? Разберёмся детально.

Первые опыты Western Digital в отношении SMR были сугубо секретными: компания до сих пор не призналась, использовалась ли эта технология в модели WD My Passport объёмом 4 ТБ. Большинство пользователей склоняется к тому, что использовалась: невысокая скорость случайной записи и низкая надёжность модели привели к закономерным подозрениям. Впрочем, уверенности в этом до сих пор нет ни у кого, даже у технически подкованных специалистов. Об использовании SMR в этой модели упоминается вскользь как о вероятности. Что интересно, в этой модели параметры S.M.A.R.T. декларируют поддержку функции trim, но фактически её активировать не удаётся. А вот в новой модели WD My Passport 5TB (а также WD_Black 5TB) функция trim и декларируется, и поддерживается фактически.

Благодаря поддержке trim последовательная запись большого массива данных всегда осуществляется так, как будто данные сохраняются на свежий накопитель. Вот как выглядит график производительности диска WD My Passport 5TB (с поддержкой trim):

Источник

А вот так – график производительности аналогичного диска Seagate (поддержки trim нет):

Как видим, у диска Seagate первые 10 минут идёт запись в буфер CMR, после чего начинается бесконечный цикл уплотнения-перезаписи, из-за которого скорость записи то падает до 10 МБ/с, то восстанавливается до максимальной, то снова падает. Накопитель от Western Digital подобного поведения не демонстрировал.

Как проверить, поддерживает ли данный конкретный диск команду trim? С одной стороны, можно посмотреть показания S.M.A.R.T. С другой – у меня есть несколько дисков, в параметрах которых поддержка trim заявлена, но по факту отсутствует (вероятно, это особенности использованных производителем USB контроллеров). Проверить же можно, запустив PowerShell с административными привилегиями и выполнив команду

Optimize-Volume -DriveLetter X: -Retrim

Если процесс оптимизации успешно начнётся, то система выполняет тримминг накопителя. Если же выдаст ошибку – значит, функция trim не поддерживается (кстати, она не поддерживается при использовании любой файловой системы, кроме NTFS).

Казалось бы, при чём здесь trim – команда, традиционно использующаяся в твердотельных накопителей для упрощения сборки мусора?

В статье TRIM Command Support for WD External Drives даётся подробный ответ. Согласно этой статье, функция trim используется для оптимизации сборки мусора на дисках WD, использующих черепичный способ записи.

TRIM / UNMAP поддерживается для внешних (и внутренних тоже – ОА) жестких дисков с технологией записи SMR (Shingled Magnetic Recording) для управления таблиц соответствия адресов и повышения производительности SMR с течением времени. Одним из преимуществ (там так и написано – ОА) черепичной записи является то, что все физические сектора записываются последовательно в радиальном направлении и перезаписываются только после циклического переноса. Перезапись ранее записанного LBA (адресация логического блока) приведет к тому, что предыдущая запись будет помечена как недействительная, и LBA будет записана в следующий последовательный физический сектор. TRIM/UNMAP позволяет ОС информировать накопитель о том, какие блоки более не используются и могут быть вновь использованы жестким диском для выполнения последующих операций записи на полной скорости.

Что это означает на практике? Если использовать такой диск в Windows 10 (и диск отформатирован в NTFS), то скорость записи больших массивов данных будет оставаться высокой независимо от числа перезаписей. Система автоматически сообщит контроллеру об освобождении адресов, которые более не используются. Соответственно, скорость записи будет восстанавливаться автоматически после удаления файла или форматирования диска – это то, чего катастрофически не хватает накопителям от Seagate.

Если речь идёт о диске формата 3.5”, то некоторые NAS (например, производства Synology) также определят его как накопитель, поддерживающий trim. Работу trim можно настроить по расписанию.

Пусть вас не введёт в заблуждение название пункта “SSD trim”: в накопителе установлен механический жёсткий диск на 6 ТБ – как раз из новой серии WD с черепичной записью. Впрочем, у этого метода есть и ряд ограничений; в частности, trim не работает в массивах RAID5/6. Аналогичные ограничения есть и у других NAS.

Что приводит нас к очевидному выводу: даже поддержка накопителями команды trim не делает новые диски Western Digital с черепичной записью SMR пригодными для использования в составе массивов RAID 5 и RAID 6 (а также, по опыту пользователей, в составе ZFS и массивов SHR 1 и, возможно, SHR 2). В составе таких массивов непрерывная череда мелкоблочных операций записи быстро (в течение 40 минут) перенасытит контроллер и переполнит ограниченный буфер CMR.

Нельзя и использовать диск с SMR совместно с классическими в рамках одного массива: в зависимости от нагрузки, диск с SMR может замедлить работу всего массива и даже привести к его деградации, если контроллеру покажется, что диск слишком долго не отвечает.

С другой стороны, новые диски WD с черепичной записью вполне допустимо использовать в однодисковых NAS, а также в составе массивов уровней JBOD, RAID 1 или RAID 0 в многодисковых сетевых накопителях, причём последние два (RAID1/0) при условии, что все диски в составе массива используют одинаковую технологию записи (только CMR или только SMR).

И, разумеется, диски WD с черепичной записью отлично работают в качестве архивных. Правда, до тех пор, пока их используют совместно с Windows, а сам накопитель отформатирован в NTFS. Использование таких дисков в macOS способно преподнести неприятные сюрпризы в силу особенностей реализации trim в ОС от Apple.

При этом использование диска SMR с поддержкой команды trim предпочтительнее аналогичного диска без поддержки trim – обширный список, в который входят практически все «домашние» накопители Seagate.

Стоит ли покупать диски с SMR

Разница в цене между наполненным гелием накопителем WD My Book или WD Elements Desktop 8TB, использующими классическую запись CMR, и черепичными Seagate Backup Plus Hub или Seagate Expansion Desktop 8TB на сегодня порядка 10-15 евро. Разница в цене между WD Red 6TB с PMR (модель WD60EFRX) и SMR (WD60EFAX) – исторически те же 10 евро, но на фоне последних публикаций ценник на классическую модель резко и необоснованно взлетел, догнав ценник на 8-гигабайтный накопитель.

Стоит ли переплатить за отсутствие SMR и всегда ли это возможно? В некоторых компактных (2.5”) накопителях ёмкостью от 2 ТБ используют SMR для того, чтобы получить более тонкий корпус. В компактных дисках ёмкостью в 5 ТБ запись SMR используют просто для того, чтобы сделать такую ёмкость возможной. А вот десктопные диски ёмкостью 2, 4, 6 и 8 ТБ вполне можно выпустить и без SMR. Использование черепичной записи позволяет производителю сэкономить; часть этой экономии достаётся на долю покупателя, но большую часть денег производитель кладёт в собственный карман.

Решение о покупке того или иного диска принимать в любом случае пользователю. Есть сценарии использования, в которых использование SMR недопустимо в принципе – это массивы RAID 5 и 6 уровней. Использовать SMR в составе массивов RAID 0 и RAID 1 принципиально допустимо, но при соблюдении простого правила – использовать в рамках массива только диски без или только с SMR. В однодисковом NAS, который умеет использовать trim, пользователь не заметит большой разницы между диском с PMR и диском SMR, поддерживающим команду trim. Наконец, диски с SMR и trim вполне допустимо использовать в качестве архивных.

А вот за использование дисков с SMR, но без поддержки trim, производитель просто обязан давать гигантскую скидку. В противном случае мне сложно понять потребителя, приобретающего себе заведомо медленный и нестабильный по скорости работы накопитель.

Заключение

В этой статье мы подробно рассмотрели как саму черепичную технологию записи SMR, так и особенности её реализации двумя крупнейшими представителями индустрии – компаниями Seagate и Western Digital. Является ли SMR абсолютным злом? Нет, не является – если покупатель понимает, какие проблемы и ограничения он приобретает за свои деньги, и получает за это достаточную скидку. Но делать это нужно с открытыми глазами, а сознательно скрывать информацию – совершенно недопустимо.

Apple Watch – одна из самых популярных марок «умных» часов в мире. Последняя версия часов оснащена полным набором датчиков и процессором, мощность которого превосходит бюджетные (и даже не очень бюджетные) модели смартфонов. При помощи часов собираются огромные массивы данных. Что происходит с этими данными, где они хранятся и как их извлечь? Попробуем разобраться.

Статья написана в соавторстве с Маттиа Эпифани. Маттиа – основатель итальянской компании REALITY NET, консультант в сфере цифровой криминалистики и мобильной безопасности. Маттиа Эпифани является инструктором курсов SANS и соавтором книги “Learning iOS Forensics”.

За последние несколько лет популярность разнообразных трекеров и «умных» часов значительно возросла. В 2018 году был продан 141 миллион «умных» часов, что почти вдвое превышает результат предыдущего года. Среди всего разнообразия моделей выделяется линейка Apple Watch, продажи которых в 2018 году составили 22.5 миллиона единиц. На протяжении нескольких лет суммарная доля всех моделей Apple Watch лишь немного не дотягивает до половины глобальной рыночной доли.

Первая версия часов Apple Watch была выпущена в 2015 году. В следующем году на замену первого поколения часов пришло поколение Series 1, которое вышло одновременно с версией Series 2. На сегодняшний день актуальной моделью является четвёртая (по факту – пятая) версия Apple Watch 4. Все версии часов от Apple работают под управлением специализированной операционной системы WatchOS, код которой в свою очередь основан на мобильной системе iOS.

В отличие от подробно исследованных смартфонов iPhone и других устройств, работающих под управлением операционной системы iOS, часы Apple Watch заинтересовали лишь небольшое число экспертов. Первыми работами, описывающими структуру данных Apple Watch, стала публикация Heather Mahalik и Sarah Edwards, опубликованная в 2015 году (PDF). С тех пор сравнимых по масштабу исследований часов от Apple не проводилось.

Последние версии часов Apple Watch оснащены большим числом разнообразных датчиков. Здесь и датчик атмосферного давления, и шагомер, и датчик пульса, и чувствительные инерционные датчики, и датчик магнитного поля, и полноценный чипсет для определения координат по спутникам GPS, Glonass и Galileo, и даже датчик для снятия электрокардиограмм. Многие из этих датчиков работают постоянно, но некоторые включаются лишь периодически. Пример – датчик для определения местоположения, который активируется лишь в те моменты, когда WatchOS посчитает, что ты вышел на пробежку.

С учётом того, что часы оборудованы 8 ГБ встроенной памяти, логично было бы ожидать, что по крайней мере часть собранных данных сохраняется в часах. Часы ведут полноценные логи, формат которых совпадает с форматом аналогичных логов iPhone. Кроме того, на часах могут быть многочисленные циферблаты, на них можно устанавливать приложения (в том числе сторонние, из магазина), синхронизировать фотографии. Часы получают уведомления с телефона, причём в них может содержаться часть сообщения. С часов можно слушать музыку, можно зарегистрироваться на рейс и пройти посадочный контроль при помощи посадочного талона в виде QR-кода. Часами можно оплачивать покупки. На часах работает голосовой помощник Siri. Если же речь идёт о версии часов с LTE, то с часов можно и позвонить. Иными словами, часы Apple Watch могут делать многое из того, что может делать и обычный смартфон. Есть ли возможность добраться до всех этих данных?

Информацию из часов можно извлечь тремя разными способами. Во-первых, резервную копию Apple Watch можно извлечь из локальной или облачной резервной копии подключённого к часам iPhone. Во-вторых, часы можно подключить напрямую к компьютеру, используя переходник, после чего извлечь данные методом логического анализа. Наконец, некоторые данные можно извлечь из облака iCloud (в первую очередь речь идёт о данных «Здоровья» пользователя, которые собирают часы).

Каждый из этих способов возвращает свой собственный набор данных, отличный от того, который можно получить другими способами. Данные частично пересекаются, но мы рекомендуем по возможности использовать все три способа для максимально полного извлечения.

Способ первый. Анализ резервной копии iPhone

Часы Apple Watch независимо от поколения аппаратной платформы и версии WatchOS обладают возможностью создавать резервную копию данных. Тем не менее, WatchOS не позволяет использовать сервис для создания резервных копий ни сторонним приложениям, ни даже программе iTunes. Резервные копии часов создаются только и исключительно в подключённом к часам смартфоне iPhone.

Согласно документации Apple, содержимое Apple Watch автоматически копируется на сопряжённое устройство iPhone, чтобы данные Apple Watch можно было восстановить из этой резервной копии. К сожалению, нам неизвестен способ, посредством которого можно было бы форсировать создание свежей резервной копии часов в iPhone, за исключением одного: отсоединить часы от iPhone, разорвав пару. В статье Apple Резервное копирование данных Apple Watch подробно описано, что входит, а что не входит в состав резервных копий часов.

Вот что входит в резервную копию данных Apple Watch:

• Данные (для встроенных программ) и настройки (для встроенных и сторонних программ).
• Расположение программ на экране «Домой» и настройки циферблата.
• Настройки панели Dock и основные системные настройки.
• Медицинские данные и данные о физической активности.
• Настройки уведомлений.
• Плейлисты, альбомы и миксы, синхронизируемые на Apple Watch, и настройки музыки.
• Настройка параметра Siri «Аудиоотзыв» для Apple Watch Series 3или более поздних моделей. 
• Синхронизированный фотоальбом.
• Часовой пояс.

Вот что не входит в резервную копию данных Apple Watch:

• Записи сопряжения Bluetooth.
• Данные кредитных или дебетовых карт для платежей Apple Pay, сохраненные на Apple Watch.
• Код-пароль к часам Apple Watch.

(Источник: Резервное копирование данных Apple Watch)

Таким образом, резервную копию часов Apple Watch можно извлечь из iPhone. Самый простой способ это сделать – создать локальную или облачную резервную копию iPhone, после чего проанализировать её содержимое. Мы не будем подробно останавливаться на процедуре создания резервных копий (они многократно описывались на страницах нашего сайта); отметим только, что для создания свежей резервной копии можно использовать iTunes или одну из сторонних программ, но мы воспользовались утилитой Elcomsoft iOS Forensic Toolkit (она будет использована впоследствии и для извлечения данных из часов, подключённых к компьютеру через переходник).

Итак, резервная копия iPhone создана, осталось найти в ней резервную копию часов Apple Watch. Для этого мы воспользуемся двумя утилитами: iBackupBot (доступна для Windows и MacOS) и SQLite Expert для Windows.

Начнём с анализа спецификаций устройства. Для этого откроем резервную копию iPhone в приложении iBackupBot.

В папке \HomeDomain\Library\DeviceRegistry.state находятся следующие файлы:

• plist
• stateMachine-<GUID>.PLIST
• plist
• plist

В файле historySecureProperties.plist хранится серийный номер часов, уникальный идентификатор UDID (UniqueDeviceIdentifier), MAC-адреса адаптеров Wi-Fi и Bluetooth подключённых к телефону часов Apple Watch.

Файл stateMachine-<GUID>.PLIST хранит информацию о сопряжении с iPhone (обычно значение PairSuccess), версия операционной системы WatchOS и время сопряжения с телефоном (записанное в формате Apple Cocoa Core Data — https://www.epochconverter.com/coredata).

Файл activestatemachine.plist содержит информацию, подобную той, что содержится в файле stateMachine-<GUID>.PLIST, дополненной данными о версии WatchOS, установленной на часах в момент создания резервной копии.

В папке \HomeDomain\Library\DeviceRegistry содержится директория, имя которой содержит GUID из файла stateMachine-<GUID>.plist file: именно в этой директории содержатся данные из резервной копии AppleWatch.

Что же интересного есть в резервной копии часов Apple Watch? В первую очередь интерес представляют следующие данные.

В папке NanoAppRegistry содержится информация об установленных на часах приложениях. На скриншоте ниже можно увидеть информацию о приложении Facebook, включая данные Bundle Version, Display Name, Bundle Identifier и Bundle Name. К сожалению, данных приложения в резервной копии часов нет, только информация о приложении.

В базе данных NanoMail\Registry.sqlite содержится информация о почтовых учётных записях, которые синхронизируются с часами.

В частности, в таблице SYNCED_ACCOUNT можно найти записи Display Name и Email Address для каждого почтового аккаунта, который синхронизируется с устройством. Ни пароля, ни маркера аутентификации от почтовых аккаунтов в резервной копии нет.

В таблице MAILBOX можно просмотреть, как организована почта, пролистать папки и подпапки для каждой учётной записи (Входящие, Исходящие, Черновики, Архив и так далее).

Продолжая описание доступных баз данных, в базе NanoPasses\nanopasses.sqlite3 содержится список записей из приложения Wallet. Программа Wallet — универсальное хранилище кредитных, дебетовых и предоплаченных карт, а также карт магазинов, посадочных талонов, билетов в кино, купонов, бонусных карт, студенческих удостоверений и т. д. Записи Wallet синхронизируются с часами. В частности, часы можно использовать для отображения QR-кода посадочных талонов для их удобного сканирования при посадке на рейс. Для каждой записи доступны данные Type_ID, название организации Organization Name, дата Ingest Date (в формате Apple Cocoa Core Data) и описание Description.

В некоторых записях доступно поле “Encoded Pass”, в котором содержится двоичный файл plist с дополнительной информацией (например, описанный выше QR-код посадочного талона). Такие файлы можно извлечь из базы данных и открыть при помощи программы для работы с plist (например, plist Editor).

На следующем скриншоте можно увидеть запись брони гостиницы через Booking.com. Поле Encoded Pass можно открыть в SQLiteExpert и сохранить в виде файла.

Далее файл открываем в plist Editor и извлекаем информацию о брони, включая имя гостя, название и адрес гостиницы, даты заезда и выезда, стоимость и номер брони.

В папке NanoPreferencesSync хранятся различные файлы, отвечающие за настройки Apple Watch. Наибольший интерес здесь представляет папка \Backup\Files\, в которой содержится информация о циферблатах и их настройках, включая изображения.

Все эти файлы представляют собой обычные архивы в формате ZIP.

В каждом архиве содержатся:

• Face.json с детальными настройками циферблата, включая дату его создания (как обычно, в формате Apple Cocoa Core Data)
• В папке Resources содержится изображение циферблата в формате JPEG, а также файл Images.plist, в котором содержатся метаданные.

Анализ резервной копии: итоги

Проанализировав резервную копию часов из iPhone, мы получили достаточно скромный результат. Настройки системы и приложений, талоны из Wallet, настройки почтовых учётных записей, циферблаты… Никаких логов, никаких цифр с показаниями датчиков, уведомлений или истории местоположения пользователя; никаких данных из «песочниц» сторонних приложений. Строго говоря, мы вообще не узнали ничего интересного сверх того, что могли бы узнать, проанализировав резервную копию сопряжённого с часами iPhone, из которой мы, собственно, и извлекли резервную копию часов.

Извлечение данных из Apple Watch через адаптер

Более сложным способом извлечь информацию из Apple Watch является их подключение к компьютеру посредством специализированного переходника, правильное подсоединение которого к часам – поистине ювелирная работа. В любом случае, нужно будет выполнить все требования из списка:

1. Нужно каким-то образом подключить часы к компьютеру. И если для Apple Watch S1, S2 и S3 есть готовые адаптеры IBUS, то для часов последней серии нужного адаптера мы не нашли.
2. Когда часы подсоединятся к компьютеру, потребуется создать доверенное соединение – точно так же, как и с iPhone. И точно так же, как и в случае с iPhone, для этого нужно будет разблокировать часы кодом блокировки. Если этого не сделать, то связать часы с компьютером не получится.
3. На часах нет доступного для сторонних приложений сервиса резервного копирования. Соответственно, на резервную копию рассчитывать нельзя.
4. Джейлбрейка тоже не существует, так что и файловую систему извлечь не удастся.

И даже после всего перечисленного тебе не удастся извлечь образ файловой системы! Всё, что тебе будет доступно – это несколько  сервисов, через которые можно попробовать извлечь некоторые типы данных. С учётом всего этого неудивительно, что извлечением данных из часов Apple Watch мало кто занимается. Что же вообще можно извлечь из часов при прямом подключении? Доступны всего три типа данных:

1. Информация об устройстве и список установленных приложений
2. Файлы через протокол AFC (Apple File Conduit)
3. Лог-файлы

Подключение к компьютеру

Нам удалось найти переходники для первых трёх поколений часов; для Apple Watch 4 такого адаптера нет. Диагностический порт в часах Apple Watch находится под креплением для ремешка; потребуется тонкая игла или скрепка для того, чтобы открыть крышку. Используемый нами адаптер носит название IBUS.

• IBUS for Apple Watch S1
• IBUS for Apple Watch S2 and S3

Правильно подсоединить адаптер к часам может быть сложно. Тем не менее, это возможно:

Так же, как и для iPhone, приложение iTunes запросит разрешение на создание доверенного соединения с компьютером:

iTunes отобразит информацию о часах (только версия ОС и уникальный идентификатор часов):

Теперь запускаем Elcomsoft iOS Forensic Toolkit:

Список приложений, установленных на часах, извлекается командой I (Device Info) и сохраняется в файл:

На диске (обычно в том же каталоге, куда установлен iOS Forensic Toolkit) создаётся три файла:

• plist
• txt
• plist

В файле ideviceinfo.plist содержится вся доступная информация по Apple Watch, включая точный идентификатор модели Hardware Model, версия операционной системы WatchOS, серийный номер часов (Serial Number), UDID, название устройства (Device Name), MAC-адреса адаптеров Wi-Fi и Bluetooth, Time Zone и время на момент извлечения данных.

Также в файле содержится информация о свободном и общем объёме накопителя и размере системного раздела (атрибуты Total Disk Capacity, Total System Capacity, Total Data Capacity, Total Data Available). Наконец, атрибуты Language и Locale содержат информацию о выбранном языке и региональных настройках.

Список установленных на часах приложений сохраняется в файл Applications.txt. Сюда попадают такие данные, как Bundle Identifier (уникальный идентификатор приложения), Bundle Version и Bundle Display Name (название приложения в том виде, как оно отображается на часах).

Детальная информация о каждом установленном приложении доступна в файле Applications.plist (ты помнишь, какой утилитой его просмотреть). Здесь содержится информация о точном пути в файловой системе, по которому установлено приложение и пути к его «песочнице» (Application Path и Container соответственно). Обрати внимание: доступа к файловой системе часов у нас нет, так что доступа к данным из «песочницы» мы не получим. Так выглядит информация о приложении Uber:

Скопировать файлы системных журналов можно командой L (Logs):

Анализ лог-файлов часов

Итак, мы извлекли лог-файлы из часов. Более подробно почитать о лог-файлах iOS можно в статье “Using Apple “Bug Reporting” for forensic purposes” Mattia Epifani, Heather Mahalik и Adrian Leong (Cheeky4n6monkey). В статье рассказывается о том, как использовать профили sysdiagnose для извлечения данных из различных устройств Apple. Попробуем использовать тот же подход с часами.

Скрипты для анализа данных sysdiagnose можно скачать с GitHub https://github.com/cheeky4n6monkey/iOS_sysdiagnose_forensic_scripts.

Наибольший интерес представляют следующие системные журналы.

MobileActivation содержит информацию о версиях ОС и времени их установки, модели устройства и типа продукта. Здесь также хранится детальная информация об обновлениях WatchOS. На скриншоте ниже показана работа скрипта с журналом Mobile Activation.

MobileContainerManager представляет интерес тем, что содержит информацию об удалении приложений с часов. Проанализировав журнал, можно понять, какие приложения могли использоваться на часах в интересующий период времени. Ниже показана работа скрипта по парсингу журнала MobileContainerManager.

MobileInstallation аналогичен предыдущему, но информация здесь не об удалении, а об установке приложений на часы.

Но самым интересным, пожалуй, является журнал PowerLog. Здесь хранится информация о взаимодействии пользователя с часами. Часы лежали на зарядке? Их взяли в руки? Надели на запястье? Пользователь активировал экран? Именно этот журнал в первую очередь стараются проанализировать эксперты при расследовании автомобильных аварий. Если водитель отвлёкся на часы (или включил экран телефона, в нём тоже есть аналогичный лог) в момент аварии, это будет свидетельствовать против него (в США есть понятие Distracted Driving. Для информации: в результате distracted driving на американских дорогах в 2017 году погибло более 3,000 человек). В силу особой важности структура этой базы данных отлично изучена. Можно почитать, например, статью Sarah Edwards (PDF) или воспользоваться готовым инструментарием APOLLO. APOLLO работает примерно так:

Наконец, логи Wi—Fi содержат список сетей, к которым подключались часы. Проще всего просмотреть содержимое файла com.apple.wifi.plist, в котором интерес представляют записи о SSID, BSSID и дате последнего подключения к данной сети. Особый интерес представляет параметр BSSID, который можно использовать для определения точного местоположения (радиус 15-25 метров) в момент подключения к сети. Для определения координат точки доступа Wi-Fi по её BSSID можно воспользоваться одним из сервисов reverse lookup, например, Wigle.

Доступ к медиа-файлам по протоколу AFC (Apple File Conduit)

О доступе к медиа-файлам стоит рассказать подробнее.

Извлечь медиа-файлы можно командой M (Media) (интерес представляют не столько сами фотографии, сколько база данных Photos.sqlite):

Практически единственный способ получить доступ к медиа-файлам из часов Apple Watch требует использования утилиты, работающей по протоколу AFC. При этом часы должны быть подключены к компьютеру, а между компьютером и часами должны быть установлены доверенные отношения (pairing).

Как было показано в предыдущей главе, медиа-файлы легко извлечь посредством команды M (Media Files) программы iOS Forensic Toolkit. Казалось бы, всё просто: медиа-файлы – это фотографии и, возможно, видеоролики; что интересного может оказаться в файлах с часов? Оказывается, интересного довольно много – и основной интерес представляют вовсе не сами фотографии.

Ниже показана структура папок, создаваемой после извлечения медиа-файлов по протоколу AFC:

Собственно изображения (в сильно уменьшенном по сравнению с оригиналами виде) попадают в папку DCIM; здесь без сюрпризов.

Несмотря на то, что изображения сильно уменьшены (странно было бы передавать на часы полноразмерные фотографии), система сохраняет в них метатеги EXIF, что позволяет определить такие параметры, как время точное съёмки и устройство, использовавшееся для фотографии.

В папке iTunes_Control\iTunes содержится весьма интересная база данных MediaLibrary.sqlitedb. Сюда же входят и соответствующие файлы SHM (Shared Memory) и WAL (Write Ahead Log). Сама база данных, как очевидно из названия, хранится в формате SQLite (как, впрочем, и все остальные базы данных на часах). В этой базе содержатся такие данные, как iCloud ID пользователя, а также список покупок в магазине iTunes (покупки музыки, фильмов и электронных книг). Что интересно, в этом файле хранится информация о покупках, совершённых со всех устройств пользователя, зарегистрированных в данной учётной записи.

В базе данных содержится 36 таблиц. Идентификатор пользователя iCloud ID хранится в таблице _MLDatabaseProperties.

Чтобы извлечь из базы данных какую-то осмысленную информацию, сформируем запрос SQL:

select
ext.title AS "Title",
ext.media_kind AS "Media Type",
itep.format AS "File format",
ext.location AS "File",
ext.total_time_ms AS "Total time (ms)",
ext.file_size AS "File size",
ext.year AS "Year",
alb.album AS "Album Name",
alba.album_artist AS "Artist",
com.composer AS "Composer",
gen.genre AS "Genre",
art.artwork_token AS "Artwork",
itev.extended_content_rating AS "Content rating",
itev.movie_info AS "Movie information",
ext.description_long AS "Description",
ite.track_number AS "Track number",
sto.account_id AS "Account ID",
strftime('%d/%m/%Y %H:%M:%S', datetime(sto.date_purchased + 978397200,'unixepoch'))date_purchased,
sto.store_item_id AS "Item ID",
sto.purchase_history_id AS "Purchase History ID",
ext.copyright AS "Copyright"
from
item_extra ext
join item_store sto using (item_pid)
join item ite using (item_pid)
join item_stats ites using (item_pid)
join item_playback itep using (item_pid)
join item_video itev using (item_pid)
left join album alb on sto.item_pid=alb.representative_item_pid
left join album_artist alba on sto.item_pid=alba.representative_item_pid
left join composer com on sto.item_pid=com.representative_item_pid
left join genre gen on sto.item_pid=gen.representative_item_pid
left join item_artist itea on sto.item_pid=itea.representative_item_pid
left join artwork_token art on sto.item_pid=art.entity_pid

Этот запрос извлечёт детальную информацию о покупках пользователя включая название продукта (например, название фильма, музыкального альбома или электронной книги), размер файла, длительность звучания или просмотра композиции, дату покупки и идентификатор истории покупок. Если купленный файл хранится на самих часах, здесь же будет и имя файла.

Купленные файлы (на примере ниже это музыка) можно обнаружить в папке Purchases:

Интерес представляет и папка PhotoData, в которой хранятся метаданные синхронизированных фотографий. Наибольший интерес представляют база данных Photos.sqlite и папка Thumbnails.

В базе Photos.sqlite содержится информация о фотографиях, которые хранятся на часах. Детальное описание структуры базы доступно по ссылке https://www.forensicmike1.com/2019/05/02/ios-photos-sqlite-forensics/. Готовые запросы SQL можно скачать с https://github.com/kacos2000/queries/blob/master/Photos_sqlite.sql.

Наконец, в папке Thumbnails хранятся уменьшенные превью изображений на Apple Watch. Формат ITHMB можно преобразовать в привычный JPEG при помощи утилиты iThmb Converter.

Извлечение данных через переходник: итоги

Через переходник нам оказалось доступно даже меньше информации, чем при анализе резервной копии часов. Тем не менее, ценность этих данных несравнимо выше, чем данных из резервной копии: для получения доступа ко всей этой информации нам не нужен связанный с часами iPhone – вполне достаточно самих часов. Многие данные уникальны; особую ценность мы находим в логах часов вообще и в логах PowerLog в частности, а также талонах из приложения Wallet.

Можно ли извлечь больше? Да, можно, если для часов будет доступен джейлбрейк. Для актуальных версий WatchOS джейлбрейка сейчас не существует. Единственной попыткой было приложение jelbrekTime (именно в такой транскрипции) для WatchOS 4.0-4.1.

Ситуация может измениться в ближайшее время. Для WatchOS 4.0-5.1.2 анонсирован джейлбрейк Brenbreak, который обещают выпустить для всех актуальных версий часов до конца 2019 года. Мы с нетерпением ожидаем выхода джейлбрейка, чтобы снять, наконец, образ файловой системы часов и посмотреть, что там найдётся.

Доступ через облако

Что ещё можно извлечь из часов? С технической точки зрения из самих часов — ничего, но из облака iCloud можно извлечь часть информации, которую iPhone получает именно от часов Apple Watch. Речь о данных «Здоровье», в состав которых входит счётчик шагов, данные со встроенного в часы навигатора GPS, данные сердцебиения пользователя и снятые электрокардиограммы, а также другие типы данных, для получения которых могли использоваться сторонние приложения. Для доступа к информации необходим Elcomsoft Phone Breaker; инструкция: Download Health data from iCloud (извлекаются даже те данные, которые не отдаёт Apple по запросу от правоохранительных органов). Для просмотра данных можно воспользоваться Elcomsoft Phone Viewer:

Мы уже неоднократно писали о процедуре извлечения данных «Здоровья», и здесь повторяться не будем.

Заключение

Извлечение и анализ данных часов Apple Watch – достаточно новая и малоизученная тема. В то же время ряд вещей (например, журнал PowerLog) представляют исключительный интерес для экспертов-криминалистов. Стали появляться факты успешного раскрытия преступлений, в процессе совершения которых преступник оставлял смартфон дома, но забывал снять часы или трекер, которые продолжали записывать информацию. К сожалению, в процессе исследования доступными для часов методами нам не удалось добраться до журнала с историей местоположения (часы Apple Watch оборудуются автономным датчиком GPS, который автоматически включается, если WatchOS считает, что пользователь начал тренировку). Не удалось получить доступ и к данным установленных на часах приложений. Отсутствие полноценной службы резервного копирования не позволяет создать свежую резервную копию часов иначе, чем отвязав их от смартфона iPhone (причём в момент, когда часы подключены к телефону через Bluetooth или Wi-Fi). Отсутствие в продаже адаптеров для подключения к компьютеру актуальной версии Apple Watch 4 делает невозможным извлечение жизненно важных журналов. Иными словами, исследование Apple Watch только начинается.

В рамках исследований безопасности и методов шифрования, которые используются в сетевых хранилищах известных производителей, в нашей лаборатории скопилось около полутора десятков моделей устройств. Поработав с каждым в течение достаточно длительного времени, мы обнаружили, что маркетинг часто идёт вразрез с реальностью, а обзоры все как один умалчивают о важных проблемах, которые делают невозможным использование устройства по предполагаемому назначению. Об этих проблемах и ограничениях в NAS трёх крупнейших производителей мы сегодня и поговорим.

Synology

Компания Synology выпускает самые популярные сетевые хранилища, которые можно купить в виде отдельного устройства. Последнее – важное дополнение, так как абсолютным лидером по числу проданных «домашних» NAS является компания Western Digital со своими однодисковыми и двухдисковыми моделями WD My Cloud, My Cloud Mirror, My Cloud Home и My Cloud Home Duo. Такой популярности Western Digital удалось добиться за счёт чрезвычайно низкой цены: NAS с диском WD зачастую стоит дешевле, чем диск отдельно.

Synology не может себе позволить такой щедрости; сетевые хранилища этого производителя продаются за ощутимые деньги – пользуясь при этом неизменной популярностью. Но и у Synology не обошлось без ложки дёгтя.

Бесполезная агрегация

Двумя и более сетевыми портами оборудуются лишь самые продвинутые (и достаточно дорогие) модели NAS от Synology. Однако использовать лишний порт для того, чтобы удвоить полосу пропускания, у обычного пользователя не получится. Для того, чтобы разобраться в причинах, нужно немного рассказать о том, как работает агрегация сетевых линков в принципе.

Использовать два и более сетевых интерфейса можно разными способами. Можно выделить один линк как резервный: он будет использован только в том случае, если у основного линка возникнут проблемы. Агрегацию можно использовать для распределения нагрузки, пуская трафик, генерируемый разными клиентами, по разным линкам. В этом случае ширина полосы пропускания увеличивается пропорционально количеству линков – но только в том случае, если пользователей несколько. Скорость доступа к данным для каждого конкретного пользователя не превысит максимальной скорости работы единственного гигабитного линка.

Единственное исключение из этого правила – агрегация на программном уровне по алгоритму Round Robin. При использовании этого алгоритма достигается именно тот эффект, которого ожидает обычный домашний пользователь: скорость передачи данных между NAS и любым другим устройством (разумеется, также использующим скоростной линк) будет складываться из суммарной пропускной способности всех агрегированных линков. Таким образом, включение второго порта Ethernet большинством производителей – это способ удвоить видимую пользователю скорость работы NAS, вплотную приблизив скорость обмена данными по сети к скорости самих дисков.

Почему я назвал агрегацию линков в Synology «бесполезной»? По какой-то причине разработчики компании удалили возможность использования алгоритма Round Robin. Все другие алгоритмы, которые поддерживаются в DSM, не позволяют удвоить скорость передачи данных между NAS и единственным клиентом. К сожалению, подавляющее большинство пользователей не знает (форум) об этой особенности – пока не попробует воспользоваться режимом агрегации.

Со списком поддерживаемых DSM алгоритмов агрегации можно ознакомиться на скриншоте.

Для сравнения, большинство даже недорогих моделей (начиная с середины линейки) Asustor и Qnap оснащаются двумя сетевыми интерфейсами, которые можно объединить методом Round Robin и получить удвоенную полосу пропускания.

Вот как выглядит настройка агрегации линков в NAS Asustor:

Результат налицо: скорость чтения-записи практически сравнялась со скоростью доступа к самим дискам.

Недорогие модели чрезмерно ограничены

Программисты Synology славятся способностью заставить мощный и красивый графический интерфейс работать быстро и исключительно отзывчиво даже на самом слабом железе. Тем не менее, использование двухъядерных процессоров архитектуры Cortex A7 (приблизительно уровень дешёвых смартфонов 2012 года) в моделях начального уровня оправдать получается с трудом.

В бюджетных двухдисковых моделях (линейка DS216j, DS218j и недавно выпущенная DS220j) применяется разборный пластиковый корпус без полноценного металлического каркаса. Данная конструкция не способна обеспечить звукоизоляцию дисков. Особенно плохо обстоят дела с дисками на 7200 оборотов в минуту, а это – все модели WD Red начиная с 8ТБ и выше. (В скобках: производитель указывает класс производительности этих моделей как “5400 RPM Class”, что не эквивалентно скорости в “5400 RPM”. Замеренная скорость вращения шпинделя в WD Red 8TB и выше – 7200 RPM, хоть в параметрах S.M.A.R.T. и указано другое). Так, попытка собрать бесшумное домашнее сетевое хранилище с двумя дисками WD Red 8TB окончилась провалом: корпус NAS резонировал, усиливая вибрацию дисков, создавая мерный неприятный гул. Диски пришлось переставить в стоявший рядом Asustor AS5202T, в котором те же самые диски вдруг оказались совершенно бесшумными.

Сравнивая модели NAS от Synology с конкурентами аналогичной ценовой категории, основанными на тех же процессорах, можно заметить, что в моделях Synology меньше количество и разнообразие портов (как правило, отсутствует выход HDMI, один сетевой интерфейс вместо двух, нет портов Type-C). При этом благодаря прекрасно оптимизированной прошивке DSM работают модели Synology ничуть не хуже конкурентов, часто обгоняя даже более мощные решения.

Отсутствие ключевых возможностей

Какие именно возможности являются ключевыми – каждый пользователь решает для себя сам. Для кого-то это поддержка Plex, кто-то собирается использовать NAS в качестве видеоплеера – ему нужен Kodi и поддержка инфракрасного пульта ДУ; для кого-то важнее тишина и низкое энергопотребление. Прошивка DSM, под управлением которой работают NAS от Synology, предлагает простое и беспроблемное решение – но в достаточно узких рамках.

QNAP

Сетевые хранилища QNAP – на втором месте по популярности после Synology. Как правило, за сравнимую стоимость покупателю предлагается чуть более мощное железо с большим количеством интерфейсов и таких элементов, как съёмные лотки для дисков. В то же время программное обеспечение QNAP является одним из самых сырых, тяжёлых и плохо оптимизированных среди исследуемой троицы производителей. И если к аппаратной части NAS от QNAP претензии возникают нечасто, то о прошивках можно и нужно поговорить.

Ненадёжные модули с прошивкой

В устройствах Synology операционная система хранится непосредственно на жёстких дисках (нужно отметить – всех инициализированных жёстких дисках, что позволяет устройству корректно работать, даже если останется работоспособным единственный – любой – накопитель). В моделях QNAP операционная система QTS хранится в интегрированном твердотельном хранилище – модуле DOM. Такой способ хранения операционной системы имеет как свои преимущества, так и недостатки, основным из которых является отказ системы в случае повреждения DOM. Обозреватели не успевают столкнуться с этой проблемой, но стоит запустить поиск в Google – и всё становится на свои места: замена бракованных модулей и перепрошивка повреждённых занимают несколько страниц выдачи по запросу QNAP DOM. Ничего подобного у других производителей не наблюдается.

К сожалению, проблема с модулями DOM носит системный характер. Использование небольших по объёму модулей (экономия) с не самым высоким ресурсом (снова экономия) и тот факт, что обновления прошивок записываются всё в тот же модуль, приводят к тому, что твердотельная память со временем отказывает. В то же время перепрошивка повреждённого образа QTS, судя по популярности запроса, является весьма востребованной опцией.

Лично мне не довелось столкнуться с отказом модуля DOM, но перепрошить его однажды пришлось: обновления QTS отказывались устанавливаться из-за несовпадения контрольных сумм, причём произошло это прямо при настройке устройства «из коробки».

Медленная загрузка

Операционная система в QNAP хранится в виде образа в распаянном твердотельном хранилище DOM. В процессе загрузки система считывает этот образ в оперативную память, распаковывает его и загружает операционную систему. К сожалению, процесс загрузки не оптимизирован настолько, что младшие модели могут загружаться 5-6 минут, а старшие – 3-4 минуты.

Для сравнения, аналогичные модели Synology и Asustor (который, кстати, тоже хранит прошивку в твердотельном хранилище) загружаются за полторы минуты, а собранный мной NAS под управлением Debian с Openmediavault на обычном четырёхъядерном процессоре с архитектурой ARMv8 загружается за 30 секунд, 14 из которых уходит на включение и раскрутку пластин жёсткого диска.

Режим сна S3 sleep mode: был и не стало

С медленной загрузкой можно было бы смириться, если бы в устройстве можно было активировать режим глубокого сна S3 sleep mode. К сожалению, в новых устройствах QNAP разработчики убрали эту возможность, а в тех, в которых она была, её отключают в новых версиях прошивки. Причина? «Проблемы с безопасностью». Какие именно? «Оно работает нестабильно». Почему нестабильно? Потому что программисты компании не обладают достаточной квалификацией, чтобы обеспечить стабильный режим глубокого сна в собственной ОС на собственном железе.

В чём выражается эта нестабильность? Я протестировал работу этой функции на двух устройствах: QNAP TS-131P и QNAP TS-453BE. В обоих случаях режим глубокого сна активируется командой:

echo mem > /sys/power/state

После её выполнения устройство достаточно быстро переходит в режим сна. Разбудить его можно нажатием кнопки питания либо отправкой «магического пакета» WOL. Нестабильность заключается в том, что приблизительно один раз из трёх-четырёх устройство не пробуждается, требуя для восстановления работоспособности жёсткой перезагрузки. Неудивительно, что такую нестабильную функцию разработчики предпочли убрать из пользовательского интерфейса (но не из ядра системы).

Для сравнения, аналогичная функция в устройствах Asustor поддерживается официально и работает весьма стабильно. А вот в NAS от Synology режим глубокого сна присутствует лишь в считанных (очень старых) моделях.

Нет расписания задач

Возможность выполнять задачи по расписанию – одна из ключевых особенностей сетевых хранилищ. В Synology по расписанию можно создавать резервные копии, выполнять сборку мусора (trim) твердотельных накопителей и дисков с SMR, да и вообще – создавать любые мыслимые задачи, которые будут запускаться хоть по расписанию, хоть сразу после запуска. Это выглядит так:

Synology: запуск пользовательского скрипта сразу после загрузки.

В QTS нет ничего подобного. Это не означает, что пользователь не может создавать резервные копии по расписанию – может, если этот режим поддерживает само приложение. Но, к примеру, разбудить сетевое устройство командой WOL, после чего создать на нём резервную копию и отключить его скриптом SSH – не получится без использования терминала и умения настроить cron. А в Synology – получится. Похоже, разработчикам было настолько лень делать диспетчер задач, что они создали подробную статью о том, как пользователю самому настроить crontab через командную строку.

Неотключаемые звуковые сигналы

Когда-то давно я критиковал китайские телефоны, которые издавали радостный писк, проигрывали бравурный марш или трубили в фанфары, радостно поздравляя пользователя со своим успешным включением. Более серьёзные компании это торжественное событие обставляют без лишней помпы: бесшумная анимация в смартфонах Google или статичное, хоть и надкусанное, яблоко Apple.

Производители сетевых хранилищ родом из той же местности, что и производители китайских смартфонов, и не порадовать пользователя звуковым сигналом, свидетельствующих об успешной загрузке, просто выше их сил. Тем не менее, в NAS от Synology и Asustor эти звуковые сигналы можно отключить, позволив устройству тихо просыпаться ночью и создавать резервную копию по расписанию.

Разработчики QNAP не смогли преодолеть сорочий инстинкт, запретив отключение звукового сигнала в процессе загрузки. Автоматическое пробуждение хранилища ночью разбудит и пользователя.

Навязчивый пользовательский интерфейс

Операционная система QTS предлагает развитый, многооконный пользовательский интерфейс – который, однако, не оставляет пользователя в покое. В магазине приложений присутствует анимированная реклама, но больше всего раздражают другие мелочи. Так, каждый раз при открытии списка уведомлений Event Notifications пользователю будут настойчиво предлагать включить… расширенные уведомления в Notification Center: отправкой SMS, письма или push-уведомления на мобильное устройство. Но даже если вы согласитесь с системой и активируете расширенные уведомления, просто чтобы избавиться от назойливого предложения, блок с предложением настроить Notification Center никуда не денется.

Мелочь? Недовольных пользователей множество (форум), реакция представителей компании – «это для вашего же блага».

Сомнительные приложения

Из той же оперы – приложение SSD Profiler, которым также многие недовольны. Разработчики QNAP решили собрать статистику надёжности SSD и то, как на неё влияют показания мониторинга S.M.A.R.T. Проблема с этим приложением в том, что оно устанавливается в систему по умолчанию; удалить его нельзя (по крайней мере, такова была ситуация на тот момент, когда я тестировал NAS от QNAP). Приложение отправляет производителю телеметрию независимо от того, хочет того пользователь или нет. Лишь спустя год в момент, случайно совпавший с принятием в Европе закона о защите персональной информации GDPR, разработчики QNAP изменили политику: теперь пользователям предлагается поделиться телеметрией добровольно, взамен обещается несколько месяцев подписки на сервис предсказания надёжности накопителей, который появится когда-нибудь в будущем. Предложение хоть и сомнительное, но честное – почему бы не сделать так с самого начала?

Сомнительная безопасность прошивки

У всех производителей находят уязвимости. Уязвимости находили в сетевых хранилищах Western Digital, Synology, Asustor и QNAP. Однако лишь в случаях с Western Digital и QNAP проблема получила характер массовой эпидемии – в основном благодаря тому, что эти производители не торопились с выпуском патча безопасности.

Не останавливается вентилятор

Выбирая домашнее сетевое хранилище, пользователи редко обращают внимание на то, как именно оно будет функционировать 99% времени – находясь в простое. Не акцентируют на этом внимание и производители. Тем не менее, в ряде моделей Synology предусмотрен режим Low power mode, в котором вентилятор будет останавливаться, когда останавливаются диски. NAS без движущихся частей – очень тихий NAS, идеальный для домашнего использования. К сожалению, QNAP не выпускает ни одной модели хранилищ, вентилятор которых останавливался бы при комнатной температуре даже во время гибернации жёстких дисков.

Другие проблемы

Описанные выше проблемы касаются если не всех, то большинства домашних пользователей. Мне не известно о каких-либо других специфических проблемах QNAP, которые носили бы системный характер. Однако ненадёжных накопителей DOM, проблем с перепрошивкой и достаточно сырой операционной системой уже достаточно, чтобы повлиять на выбор устройства для дома.

Asustor

Устройства Asustor и Nimbustor, выпускаемые подразделением компании ASUS, как правило, снабжены лучшей по сравнению с устройствами Synology аналогичной стоимости аппаратной базой. К примеру, в большинстве двухдисковых моделей Synology присутствует лишь один сетевой порт RJ45; большинство же моделей Asustor аналогичного класса оснащаются двумя сетевыми портами, что позволяет удвоить скорость обмена данными с компьютером и другими устройствами. Тем не менее, у устройств Asustor и операционной системы ADM есть свои особенности, от некоторых из которых впору схватиться за голову.

Контроль температуры, скорость вращения вентилятора и уровень шума

Одна из самых известных и, можно сказать, любимых проблем ADM – странный подход к регулированию скорости вентилятора. Вот, например, как это сделано в Synology DSM (правильный подход):

А вот – в Asustor ADM:

В целом похоже? Да, но нет. В Synology пользователь выбирает не скорость вращения вентилятора, а алгоритм, регулирующий его скорость в зависимости от внутренней температуры устройства. За счёт того, что даже в двухдисковых устройствах инженеры Synology сумели встроить вентилятор размером 92мм, диски всегда остаются холодными, а уровень шума – низким.

В двухдисковых моделях Asustor (как и прочие производители) устанавливает небольшие высокооборотистые вентиляторы размером 70мм.

При выборе автоматической регулировки скорости вращения вентилятора обороты последнего фиксируются на 750 RPM и держатся на этом уровне, пока диски не разогреются до +53С. 53 градуса – это очень высокая температура, длительная работа при которой негативно сказывается на надёжности накопителей.

Казалось бы, можно выбрать другой алгоритм, и вентилятор будет вращаться чуть быстрее? Нет. Выбрать можно между автоматической регулировкой, режимом Low (обороты фиксируются на 750 RPM), Medium (обороты фиксируются на 2600 RPM) и High (полная скорость, 4300 RPM).

И если на низких оборотах вентилятор не слышно уже на расстоянии метра, но режим Medium – это очень, очень громко: шум прекрасно слышно из соседней комнаты через закрытую дверь. Про режим High говорить не буду, шум вентилятора в нём сравним со звуком взлетающего самолёта. Работа же автоматического режима не просто неудовлетворительна; она просто опасна для дисков:

Это – одна из тех вещей, исправить которые для разработчиков не составляет никакого труда. Тем не менее, проблема известна как минимум с 2014 года, и в течение многих лет всё, что делают представители компании – это объясняют, что «так задумано». Каким-либо логическим образом объяснить эту, выразимся прямо, узколобость мышления тайваньских программистов у меня не получается.

Справедливости ради, в четырёхдисковых моделях Asustor устанавливаются значительно менее шумные вентиляторы размером 120мм. Впрочем, алгоритмы управления ими не отличаются от таковых в двухдисковых моделях.

Ещё о шуме вентилятора

Большинство моделей Asustor может переходить в режим глубокого сна – S3 sleep mode. В этом режиме минимизируется энергопотребление устройства, останавливаются диски, выключается вентилятор, останавливаются все процессы и исчезает вероятность того, что случайный процесс неожиданно разбудит устройство и приведёт к раскрутке дисков. Режим практически идеальный для домашнего использования, но смущает мелочь: в некоторых моделях (например, AS6302T) при выходе из глубокого сна устройство раскручивает вентилятор на полную скорость (это шумно); лишь спустя несколько десятков секунд шум затихает. Если вы хотели настроить NAS на автоматическое пробуждение ночью (например, с целью создания резервных копий или репликации сетевых папок), то шум вентилятора может заставить вас передумать.

Нет расписания задач

С моей точки зрения, расписание задач (Task Scheduler) – важная часть сетевого хранилища, без которой его полноценное использование под вопросом. В ADM централизованного управления расписанием задач нет. Да, резервные копии можно создавать по расписанию, но выполнить свой скрипт до или после задачи не получится: единственная доступная настройка – это время и частота выполнения задачи.

Другие проблемы

Наверняка у других пользователей найдутся свои претензии к аппаратной и программной части сетевых хранилищ Asustor. В частности, встречаются жалобы на отсутствие в магазине приложения видеоплеера Kodi; странно и не всегда логично работает подключаемое к основному NAS устройство расширения с дополнительными лотками для дисков AS6004U, вентилятор которого принципиально не любит останавливаться, а яркость светодиодов – регулироваться программными настройками. Впрочем, если вы не пользуетесь устройством в качестве видеопроигрывателя и не планируете расширять его ёмкость добавлением специального устройства, вас эти проблемы обойдут стороной.

Заключение

У каждого пользователя – свои требования и свои сценарии использования сетевых хранилищ. Кому-то нужно максимально тихое хранилище для файлов домашней видеотеки; кто-то редактирует гигабайты видео, для чего нужна максимальная скорость; кто-то собирается использовать NAS в качестве видеоплеера или каталогизатора коллекции фильмов; кому-то нужна виртуализация и всё с ней связанное. Для каждой задачи можно подобрать подходящее устройство у любого производителя – но важно делать это с открытыми глазами, понимая возможности и ограничения каждого устройства и производителя в целом.

Современный смартфон — бесценный кладезь информации с одной стороны и вполне реальная угроза приватности с другой. Смартфон знает о пользователе столько, сколько не знает ни один человек — начиная с подробной истории местоположения и общения в интернете и заканчивая кругом общения в реальной жизни, который определяется распознаванием лиц встроенными технологиями искусственного интеллекта. Чем больше и чем разнообразнее становится информация, собираемая о пользователе, тем в большей степени её требуется защищать. Задача же правоохранительных органов прямо противоположна: улики требуется из устройства извлечь. Возникает конфликт интересов.

“Мы глубоко уважаем правоохранительные органы и сотрудничаем с ними во многих областях, но по этому вопросу мы не согласны. Позвольте мне выразиться предельно ясно: ослабление шифрования или его устранение вредит в первую очередь честным людям, которые используют его в легитимных целях.” (интервью Тима Кука, 2015)

Оглянемся назад и посмотрим, как эволюционировали методы защиты данных, которые использовала Apple в своих устройствах.

iPhone OS 1 — 3: нулевой уровень

В первых версиях iOS (и, соответственно, в первых трёх моделях iPhone) защита данных была чисто символической: PIN-код защищал информацию от любопытных глаз, но и только. Никакого шифрования не было; данные можно было извлечь как из самого устройства, так и из микросхемы памяти. Впрочем, в первых поколениях iPhone и не было никакой особо ценной информации — разве что фотографии. Джон Здиарски был первым, кто обнаружил способ извлечь информацию из заблокированных iPhone, см. публикацию iOS Forensic Investigative Methods.

Модели устройств:

• iPhone OS 1.0 – iPhone
• iPhone OS 2.0 – iPhone 3G
• iPhone OS 3.0 – iPhone 3GS

iOS 4: шифрование файловой системы

До версии iOS 4, данные в iPhone хранились в открытом виде. Их извлечение было вопросом несложных манипуляций. Сама компания Apple активно сотрудничала с правоохранительными органами, соглашаясь извлечь данные из присланного iPhone (забегая вперёд, так продолжалось вплоть до выхода iOS 8). В iOS 4 впервые появилось шифрование. Впрочем, использование аппаратного идентификатора в качестве ключа шифрования позволило довольно быстро найти способ извлечь и расшифровать зашифрованные данные, даже если код блокировки экрана был неизвестен. Кстати, именно наша компания была первой, кто сумел  взломать устройства с iOS 4.

Модели устройств:

• iOS 4.0 – iPhone 4
• iOS 5.0 – iPhone 4s
• iOS 6.0 – iPhone 5

iOS 7: запрос при установлении соединения с компьютером

Можно ли сегодня представить себе, что когда-то iPhone можно было просто подключить к компьютеру, и он сразу устанавливал соединение? Тем не менее, до 7-й версии iOS было именно так. И только в iOS 7, наконец, появился привычный всплывающий запрос, требующий разблокировать экран устройства и подтвердить установление соединения с новым компьютером (последующие подключения обходились без этого благодаря файлам pairing/lockdown).

iOS 7 стала первой версией iOS, работавшей на первом 64-разрядном iPhone, оборудованном датчиком отпечатков пальцев и аппаратной подсистемой безопасности Secure Enclave.

Модели устройств:

• iOS 7.0 – iPhone 5s, первый 64-разрядный iPhone с Secure Enclave

Здиарски обнаружил уязвимость в устройствах iOS, см. Apple Confirms “Backdoors”; Downplays Their Severity. Некоторые из обнаруженных Здиарски служб по сей день используются в Elcomsoft iOS Forensic Toolkit.

iOS 8: шифрование на основе кода блокировки; взлом паролей перестал работать

iOS 8 стала прорывом в области безопасности мобильных операционных систем. Именно в iOS 8 был заложен фундамент той модели безопасности, которая используется в iPhone по сегодняшний день.  С точки зрения безопасности изменилось буквально всё.

Модели устройств:

• iOS 8.0 – iPhone 6 и 6 Plus

Начнём с простого — логического анализа.

До выхода iOS 8 Apple использовали следующую практику. При установлении соединения между iPhone и другим устройством (подразумевался компьютер пользователя) создавалась запись pairing record, которая сохранялась в виде файла. В старых версиях iOS эта запись была фиксированной; она не менялась никогда, даже после сброса устройства. Раз установив соединение с одним компьютером, пользователь мог спокойно подключать iPhone к любому другому устройству — если скопировал файл с pairing record. Именно такой файл и создавался в процессе настройки iPhone на заводе. Файл сохранялся на сервере компании, что позволяло Apple добиться сразу двух целей. Во-первых, сотрудники компании могли помочь пользователю, который забыл код блокировки, извлечь из телефона важные, уникальные данные (о существовании резервного копирования большинство пользователей не слышало ни тогда, ни сейчас). Второй, не декларируемой особенностью данной схемы было сотрудничество с полицией. Если в Apple присылали iPhone с сопроводительным ордером, то компания без проблем извлекала из него информацию. Это работало, даже если код блокировки был неизвестен. Кстати, разорвать раз установленное соединение было невозможно даже сбросом телефона к заводским настройкам.

Сотрудничеству с полицией был положен конец с выходом iOS 8. Начиная с этой версии системы, для установления с компьютером требуется не один фиксированный ключ, а пара уникальных ключей, которая генерируется при установлении соединения с новым устройством. Одна половинка ключа сохраняется в самом iPhone, а вторая — передаётся на компьютер пользователя, где и сохраняется в файл pairing record. Стоит удалить любую из половинок, и соединение не установится. Сброс телефона — уничтожаются все сохранённые в нём «половинки», соединение невозможно.

Комбинация шифрования файловой системы динамическим ключом на основе кода блокировки экрана и нового подхода к установлению соединения привела к тому, что ни сотрудники Apple Genius bar, ни полиция больше не могут извлечь данные из iPhone на основе заводских записей pairing. Об этом же написано в официальной инструкции Apple для правоохранительных органов, доступной только на английском языке:

For all devices running iOS 8.0 and later versions, Apple is unable to perform an iOS device data extraction as the data typically sought by law enforcement is encrypted, and Apple does not possess the encryption key. All iPhone 6 and later device models are manufactured running iOS 8.0 or a later version of iOS. Apple’s guidelines for law enforcement requests

Для всех устройств, работающих под управлением iOS 8.0 и более поздних версий, Apple не может выполнить извлечение данных с устройства, поскольку данные, запрашиваемые правоохранительными органами, зашифрованы, а у Apple нет ключа шифрования. Все устройства iPhone 6 и более поздние модели производятся под управлением iOS 8.0 или более поздней версии iOS.

Кроме того, в iOS 8 появилась новая подсистема Ограничения, позволяющая установить 4-значный цифровой PIN-код для защиты от некоторых действий с устройством (например, защита от сброса или изменения кода блокировки экрана, установки или удаления приложений).

iOS 9: длина кода блокировки увеличена до 6 цифр

В iOS 9 появилось единственное заметное новшество: длина кода блокировки экрана, которую предлагает система при настройке телефона по умолчанию, увеличена до 6 цифр. Пользователь по-прежнему может настроить 4-значный PIN, но от версии к версии сделать это становится всё сложнее.

В iOS 9 впервые появилось ограничение на время жизни записей о сопряжении (см. следующий раздел); в этой версии системы он составляет 6 месяцев с момента последнего использования.

Модели устройств:

• iOS 9.0.1 – iPhone 6s и 6s Plus

iOS 10: ограничен срок действия записей о сопряжении

До iOS 10 записи lockdown (pairing records) действовали в течение длительного времени. В нашей лаборатории хранились записи, которым было несколько месяцев — и они продолжали работать. После того, как полиция начала активно пользоваться записями pairing record, извлекаемыми из компьютеров пользователей, в Apple решили ограничить срок действия этих записей. iOS 10 и более новые версии аннулируют записи о сопряжении через 30 дней с момента последнего использования.

iOS 10 стала и большим шагом назад в том, что касается защиты резервных копий. Начиная с iOS 5 (или iOS 4), Apple использовала один и тот же алгоритм для проверки паролей к резервным копиям iPhone. Для вычисления ключа шифрования вычислялось 20,000 итераций хеш-функции. Это было достаточно медленно и достаточно безопасно. В iOS 10 произошла неожиданность: в защите резервных копий обнаружилась забытая уязвимость, использующая единственную итерацию хеша. На основе этой уязвимости мы создали атаку со скоростью в десятки миллионов паролей в секунду.

Модели устройств:

• iOS 10.0.1 – iPhone 7 и 7 Plus

iOS 10.1: исправлена проблема с защитой резервных копий

Описанная выше уязвимость в защите резервных копий была исправлена в iOS 10.1; наша компания удостоилась благодарности в сопроводительной документации.

iOS 10.2: защита резервных копий в параноидальном режиме

В очередной версии iOS в Apple решили закрыть вопрос с защитой резервных копий раз и навсегда, на несколько порядков увеличив количество итераций. С этого момента перебор пароля к резервной копии стал чрезвычайно неспешным: от нескольких паролей в минуту (!) с использованием ресурсов центрального процессора до нескольких сотен паролей в секунду при использовании мощного графического ускорителя.

iOS 10.3: переход на файловую систему APFS

В iOS 10.3 был осуществлён переход всех обновляемых устройств на новую файловую систему APFS. Сам по себе этот переход не сделал устройства более безопасными, но производителям ПО для анализа данных из iPhone пришлось в спешном порядке обновлять пакеты программ.

iOS 11: сопряжение с компьютером по паролю

В iOS 11 произошло два крупных изменения. Во-первых, установить сопряжение с новым компьютером теперь можно, если известен код блокировки: его потребуется ввести после разблокирования экрана (для самой разблокировки, кстати, можно по-прежнему использовать биометрику).

Вторым важным — и весьма сомнительным! — новшеством стала возможность сброса пароля к резервной копии. Сбросить пароль можно в настройках системы вместе с некоторыми другими настройками (в частности, при сбросе пароля на резервную копию удаляется и код блокировки экрана, что автоматически приводит к удалению таких данных, как список транзакций Apple Pay). Для сброса пароля к резервной копии потребуется ввести код блокировки экрана; таким образом, роль кода блокировки в модели безопасности iOS усилена ещё больше. С нашей точки зрения, эта возможность радикально снижает безопасность iOS. Мы написали об этом статью: iOS 11 Makes Logical Acquisition Trivial, Allows Resetting iTunes Backup Password.

Модели устройств:

• iOS 11.0 – iPhone 8 и 8 Plus
• iOS 11.0.1 – iPhone X

Срок действия записей о сопряжении ограничен ещё сильнее. Теперь существующие записи о сопряжении (pairing records) остаются действительными в течение 30 дней с момента последнего использования (источник: iOS Security Guide May 2019 edition, iOS 12.3).

В iOS 11 был представлен «аварийный» режим S.O.S., при активации которого отключается возможность разблокировки iPhone биометрическими датчиками. Наконец, в локальные резервные копии перестали сохраняться уведомления. Подробнее о новшествах в модели безопасности iOS 11 можно прочесть в статье New Security Measures in iOS 11 and Their Forensic Implications.

iOS 11.4.1: блокировка USB

В iOS 11.4.1 впервые появился режим ограничения (блокировки) USB, изначальным предназначением которого было противодействие инструментам для перебора кодов блокировки производства Cellerbrite и Grayshift. iOS 11.4.1 автоматически отключает передачу данных через USB (порт Lightning) через час после того, как экран устройства был заблокирован или отключен от компьютера или аксессуара USB. Кроме того, пользователь может активировать этот режим и вручную, просто запустив режим S.O.S.

iOS 12: расширен режим блокировки USB, Ограничения превратились в Экранное время

iOS 12 развивает и расширяет ограничения USB. Согласно новому руководству по безопасности iOS, опубликованному Apple после выпуска iOS 12, возможность передачи данных через порт USB блокируется сразу (а не через час, как это было раньше) после блокировки экрана устройства, если с момента последнего подключения через USB прошло более трех дней или если устройство находится в состоянии, когда для его разблокировки требуется пароль. Кроме того, порт USB блокируется, если пользователь активирует режим S.O.S. В оригинале этот момент описан так:

“In addition, on iOS 12 if it’s been more than three days since a USB connection has been established, the device will disallow new USB connections immediately after it locks. This is to increase protection for users that don’t often make use of such connections. USB connections are also disabled whenever the device is in a state where it requires a passcode to re-enable biometric authentication.”

Кроме того, в iOS 12 на смену Ограничениям пришёл новый сервис — Экранное время. Спустя время настройки и статистика Экранного времени стали доступны для синхронизации через iCloud.

Модели устройств:

• iOS 12.0 – iPhone Xs и Xs Max
• iOS 12.0 – iPhone Xr

iOS 13: смена пароля к резервной копии через код блокировки; режим блокировки USB снова расширен

В актуальной на сегодня ветке iOS 13, включающей в себя ответвление iPadOS, Apple отказалась от поддержки приложения iTunes на компьютерах Mac. Теперь резервные копии устройств с iOS/iPadOS создаются прямо из приложения Finder.

Модели устройств:

• iOS 13.0 – iPhone 11 Pro и 11 Pro Max
• iOS 13.0 – iPhone 11

При установке или изменении пароля, защищающего локальную резервную копию, пользователь должен ввести код блокировки экрана iPhone. Пароль необходимо ввести на самом iPhone. Таким образом, роль кода блокировки в iOS 13 окончательно возведена в абсолют; зная код блокировки экрана, с телефоном можно проделать практически всё, что угодно, от сброса пароля на резервную копию до смены пароля к Apple ID и отвязки устройства от iCloud.

Режим блокировки USB также был расширен. В iOS 13 появилось своеобразное «сопряжение» аксессуаров. Чтобы подсоединиться к компьютеру, пользователю нужно будет ввести PIN-код на iPhone, после чего устройства обменяются криптографическими ключами. «Сопряжение» аксессуара не использует криптографических ключей; это односторонний процесс, для которого не требуется PIN-код. Аксессуар «сопрягается» с iPhone, когда пользователь впервые подключает его к устройство в момент, когда экран телефона разблокирован (или же разблокирует iPhone уже после подключения аксессуара). iPhone сохранит информацию о «сопряжённом» аксессуаре и присвоит этому аксессуару доверенный статус.

Ограничения USB в iOS 13 различны для «доверенных» и «прочих» аксессуаров. В iOS 13 возможность коммуникации через порт USB блокируется через час после того, как телефон был заблокирован или пользователь отключил ранее использованный аксессуар. При этом подключение аксессуара, которого нет в списке доверенных устройств, вызывает мгновенное срабатывание блокировки порта USB.

Наконец, в незашифрованные резервные копии без пароля более не попадает журнал звонков и история браузера Safari.

Заключение

В заключение я хочу процитировать Дана Скалько из Digitalux. «Одна из самых больших проблем, с которыми сталкиваются компании, — это баланс конфиденциальности, безопасности и удобства потребителей. Большее удобство часто приводит к снижению уровня безопасности и, как следствие, конфиденциальности. Хорошо иллюстрирует тезис двухфакторная аутентификация в сравнении с простым паролем. Очевидно, что на прохождение двухфакторной аутентификации пользователю потребуется потратить больше времени и усилий, но с её помощью обеспечивается гораздо больший уровень безопасности и конфиденциальности, чем с одним лишь паролем. Конфиденциальность, безопасность и удобство должны быть приоритетными целями любой компании. Но в конце концов важнее всего — именно безопасность.»

Telegram – один из самых популярных сервисов для обмена мгновенными сообщениями, которым пользуются более 500 миллионов человек. Хотя Telegram не считается самым безопасным сервисом для обмена мгновенными сообщениями (этот титул по праву принадлежит Signal), история переписки в приложении Telegram для iOS не попадает ни в резервные копии iTunes, ни в iCloud. Более того, секретные чаты Telegram не хранятся даже на серверах Telegram. В результате секретные чаты Telegram можно извлечь исключительно из того устройства, которое участвовало в переписке. О том, как это сделать, мы расскажем в данной статье.

Методы, которые не работают: облако Telegram

Так же, как и Skype, Telegram относится к приложениям, которые хранят историю переписки пользователей на сервере – за единственным исключением. В Telegram есть возможность организовать защищённую переписку, в терминах Telegram — «секретный чат».

По заявлению разработчиков Telegram, секретные чаты используют сквозное шифрование, что позволяет получить доступ к сообщениям только участникам чата. Перехват или расшифровка защищённой таким образом переписки исключены, в том числе для персонала Telegram. Более того, секретные чаты, в отличие от чатов обычных, не сохраняются не только в облаке iCloud или резервных копиях, но и на серверах Telegram. Секретные сообщения могут быть прочитаны только на устройстве, которое участвует в переписке.

Обратите внимание: секретные чаты Telegram не попадают в облако. Обычные чаты хранятся на серверах компании и могут быть получены по запросу от правоохранительных органов (в зависимости от юрисдикции).

iTunes и резервные копии в iCloud

Многие приложения для обмена мгновенными сообщениями сохраняют резервные копии переписки в локальных резервных копиях iTunes или резервных копиях в iCloud. Другие (например, собственное приложение Apple iMessage) могут и синхронизировать сообщения через iCloud (впрочем, в случае с iMessage всё не так просто: если сообщения синхронизируются, то они не попадают в «облачные» резервные копии; в локальные же резервные копии они сохраняются всегда). Telegram относится к классу приложений, которые не сохраняют историю переписки ни в локальных, ни в облачных резервных копиях iCloud. Не используется и встроенный в iCloud механизм синхронизации. Этот подход означает, что ни логический, ни облачный анализ в случае с Telegram не сработают даже для обычных чатов, не говоря о секретных.

Обратите внимание: приложение Telegram для iOS не позволяет данным о переписке попасть ни в локальные, ни в облачные резервные копии.

Анализ образа файловой системы – единственный работоспособный метод

С учётом того, что Telegram для iOS не синхронизирует данные с облаком, не создаёт локальные или облачные резервные копии, единственным способом получить доступ к данным как секретных, так и обычных чатов Telegram является извлечение из iPhone образа файловой системы. Извлечь образ файловой системы можно при помощи Elcomsoft iOS Forensic Toolkit.

В отличие от более безопасного Signal, который шифрует данные на телефоне ключом из Связки ключей, которому назначен высший класс безопасности, базы данных Telegram сохраняются на устройстве в виде обычной, незашифрованной базы данных в формате SQLite. Соответственно, для их анализа достаточно извлечь только образ файловой системы.

Извлечение и анализ переписки и секретных чатов Telegram

Для просмотра истории переписки и секретных чатов Telegram используйте Elcomsoft Phone Viewer 5.0 или более новую версию.

Для анализа переписки в приложении Telegram для iOS проделайте следующие шаги:

1. Извлеките образ файловой системы iPhone в формате TAR (используйте приложение Elcomsoft iOS Forensic Toolkit).
2. Запустите Elcomsoft Phone Viewer и откройте полученный образ.
3. После того, как обработка будет завершена, кликните на иконке Telegram.
4. Данные доступны для просмотра и анализа, включая секретные чаты.

Заключение

Из трёх способов анализа (логический, физический и облачный) секретные чаты из приложения Telegram доступны исключительно посредством физического извлечения. Архив переписки пользователя (только обычные чаты) правоохранительные органы могут получить непосредственно у компании Telegram по запросу.

iPhone — один из самых популярных смартфонов в мире. Благодаря своей огромной популярности, iPhone привлекает большое внимание сообщества криминалистов. Для извлечения данных из iPhone разработано множество методов, позволяющих получать то или иное количество информации с большими или меньшими усилиями. Некоторые из этих методов основаны на недокументированных эксплойтах и публичных джейлбрейках, в то время как другие используют API для доступа к информации. В этой статье мы сравним типы и объёмы данных, которые можно извлечь из одного и того же iPhone 11 Pro Max объёмом 256 ГБ, используя три различных метода доступа к информации: расширенный логический, физический и облачный.

Мы протестировали и сравнили доступные методы на примере устройства iPhone 11 Pro Max 256 ГБ под управлением iOS 13.3. Устройство подключено к учётной записи iCloud вместе с большим количеством других устройств, включая компьютеры MacBook Pro, Mac Mini, iMac, четыре других iPhone (6s, 7, X, Xr), один iPad Pro третьего поколения, часы Apple Watch, пара Apple TV и одну колонку HomePod. Мы не считали устройства других членов семьи, объединённые в Семейный доступ. В процессе тестирования ожидалось, что значительная часть данных будет синхронизироваться между устройствами через iCloud.

Важно отметить, что ситуация постоянно меняется. В каждой или почти каждой новой версии iOS и macOS разработчики Apple меняют способы хранения, протоколы доступа и методы защиты данных. В iCloud также происходят постоянные изменения. Свежие примеры — в статье macOS, iOS and iCloud updates: forensic consequences.

Логический анализ

Логический анализ — самый известный, популярный и, казалось бы, хорошо изученный способ получить доступ к основному массиву данных. Метод логического анализа работает для всех устройств под управлением iOS и её производных iPadOS, WatchOS и tvOS. Всё, что нужно для работы — это само устройство, кабель Lightning (для часов Apple Watch — адаптер iBUS) и в некоторых случаях — код блокировки экрана для того, чтобы установить доверенные отношения с компьютером (это требование можно обойти, использовав извлечённую из компьютера пользователь запись lockdown).

Логический анализ предоставляет доступ к следующим типам данных:

• Расширенная информация об устройстве
• Резервная копия в формате iTunes (может оказаться зашифрованной паролем)
• Медиа-файлы (фото и видео) и некоторые базы данных, которые могут содержать записи об удалённых файлах
• Диагностические и crash-логи
• Данные некоторых приложений

Резервные копии в формате iTunes — то, с чего начинался логический анализ. Все знают о резервных копиях; создавать резервную копию умеют, наверное, все или почти все пакеты для экспертов-криминалистов. Можно обойтись и без них, использовав непосредственно утилиту iTunes в Windows или Finder в macOS Catalina, см. статью Резервное копирование данных на устройствах iPhone, iPad и iPod touch; обратите, однако, внимание на необходимость заранее отключить синхронизацию в iTunes, иначе данные на устройстве будут модифицированы после подключения к компьютеру.

В статье The Most Unusual Things about iPhone Backups мы подробно рассказали о самых интересных вещах, связанных с резервными копиями iOS. Основная проблема, связанная с резервными копиями — возможность защиты паролем. Пароли к резервным копиям iOS необычайно стойкие; их перебор невыносимо медленный, буквально единицы или десятки паролей в секунду даже с использованием мощных графических ускорителей. Иногда пароль удаётся сбросить, но и сброс пароля к резервной копии — не панацея; детали — в статье The Worst Mistakes in iOS Forensics. В то же время, резервные копии с паролем содержат значительно больше доступных данных в сравнении с незашифрованными резервными копиями (в частности — Связка ключей, в которой хранятся все пароли пользователя). Разумеется, для доступа к ним вам потребуется узнать пароль.

Очень часто эксперты ограничиваются извлечением только резервной копии. Однако логический анализ ими не ограничивается. Как минимум, стоит извлечь медиа-файлы (их извлечение работает независимо от того, установлен ли пароль на резервную копию), в состав которых входят базы данных и уменьшенные копии изображений.

Наконец, извлечь можно и некоторые системные журналы (журнал диагностики и crash-лог) и файлы, доступ к которым через iTunes открывают некоторые приложения.

Одна из сильных сторон логического анализа — возможность доступа к данным даже тогда, когда экран устройства заблокирован (с рядом оговорок). Возможность сработает, если телефон был разблокирован хотя бы раз после включения, у эксперта есть физический доступ к доверенному компьютеру и режим ограничения USB не был активирован. (Нужно отметить, что в последних версиях iOS режим ограничения доступа к USB активируется сообразно достаточно неочевидным правилам, см. USB Restricted Mode in iOS 13).

Из нашего тестового iPhone удалось извлечь резервную копию, в которой обнаружилось 112 тысяч файлов общим объёмом 138 ГБ. Дополнительно удалось извлечь 47,000 медиа-файлов включая метаданные общим объёмом 101 ГБ. Кроме того, мы извлекли 271 файл приложений общим объёмом 109 МБ.

Все возможности логического анализа предоставляет инструментарий Elcomsoft iOS Forensic Toolkit.

Достоинства метода:

• Метод прост в использовании
• Совершенно безопасен, если используется специализированное программное обеспечение
• Безопасно даже через с iTunes (если не забыли отключить синхронизацию)
• Совместим со всеми версиями iOS
• Может работать с заблокированными устройствами (если есть доступ к доверенному компьютеру)
• Может извлекать журналы устройства и данные приложений
• Медиа-файлы (с EXIF) доступны, даже если установлен пароль на резервную копию

Недостатки:

• Количество данных ограничено
• На резервную копию может быть установлен пароль
• Связку ключей можно извлечь только из резервных копий с паролем
• Требуется код блокировки экрана, если устройство подключается к новому компьютеру

Извлечение файловой системы

В резервной копии, даже защищённой паролем, содержится намного меньше информации, чем хранится в устройстве. В устройстве содержатся базы данных с детальной историей местоположений, данные всех приложений, включая историю переписки в безопасных мессенжерах; WAL-файлы SQLite, в которых могут содержаться удалённые записи, временные файлы, данные WebKit, транзакции AplePay, уведомления приложений и многое другое, что может стать важными уликами.

При этом доступ к файловой системе достаточно сложен — начиная с вопроса о выборе метода, который будет для этого использоваться. Для разных моделей iPhone доступно множество методов: классические и rootless джейлбрейки, эксплойт checkm8 и доступ посредством программы-агента. Для того, чтобы понять, с какими именно версиями iOS и моделями iPhone совместим каждый из способов, нужно разобраться в трёхмерной матрице совместимости. В частности, для моделей до iPhone X включительно извлечение возможно вплоть до последней версии iOS (на сегодня это iOS 13.4.1), в том числе в режиме частичного извлечения с неизвестным кодом блокировки (BFU Extraction: Forensic Analysis of Locked and Disabled iPhones).

Из нашего тестового устройства удалось извлечь 211 ГБ данных примерно за то же время (скорость работы — порядка 2.5 ГБ/мин, или 150 ГБ в час).

Доступ к файловой системе может быть осуществлён посредством установки джейлбрейка. В то же время важно понимать, что установка джейлбрейка не является «чистой работой», оставляя следы работы на устройстве, большая часть которых не документирована. Кроме того, вам потребуется инструментарий iOS Forensic Toolkit для расшифровки Связки ключей.

Достоинства метода

• Частичное извлечение для устройств с заблокированным экраном и/или портом USB
• Извлекается полный набор данных
• Пароль на резервные копии игнорируется
• Ограничения MDM игнорируются
• Извлекается полная Связка ключей

Недостатки

• Требуется версия iOS с обнаруженной уязвимостью
• Требуется учётная запись Apple для разработчиков

Извлечение через облако iCloud

Метод извлечения через iCloud до сих пор остаётся недооценённым. Изначально извлечение через облако iCloud означало извлечение резервных копий. Сегодня роль резервных копий в iCloud значительно снизилась; резервные копии в облаке содержат ещё меньше данных, чем локальные резервные копии iTunes без пароля. Более того, поскольку большинство устройств iPhone и iPad синхронизируют данные в облако, эти (синхронизированные) данные хранятся отдельно от резервных копий. Синхронизируется практически всё: от контактов до фотографий и сообщений, а также Связка ключей с паролями. Связка ключей в iCloud, помимо паролей, может содержать и маркеры аутентификации. Есть и iCloud Drive со множеством файлов и документов, часто включая папки Documents и Desktop с компьютеров Mac. Все эти данные собираются не только с единственного iPhone, но и со всех остальных устройств пользователя, подключённых к учётной записи.

В процессе работы Elcomsoft Phone Breaker из облака помимо резервных копий было скачано 39 ГБ синхронизированных данных и 101 ГБ фотографий.

В iCloud Drive может содержаться большое количество файлов включая документы, данные сторонних приложений и резервные копии из некоторых мессенжеров и программ управления паролями.

Дополнительно:

• Accessing iCloud With and Without a Password in 2019
• Apple vs. Law Enforcement: Cloud Forensics
• Apple vs Law Enforcement: Cloudy Times

Достоинства метода:

• Совместим со всеми версиями iOS
• Само устройство не нужно
• Доступны данные со всех устройств, подключённых к учётной записи
• Извлекается облачная Связка ключей
• Файлы в iCloud Drive
• Данные доступны в реальном времени
• Могут быть доступны старые резервные копии

Недостатки:

• Требуются учётные данные для входа в iCloud (включая второй фактор аутентификации)
• Возможна замена логина и пароля маркером аутентификации; применение последних весьма ограниченно
• Код блокировки или пароль одного из доверенных устройств потребуется для доступа к некоторым типам данных (Связка ключей, Здоровье, сообщения и другим, использующим сквозное шифрование)
• Устройства могут вообще не использовать iCloud, поэтому иногда данные отсутствуют

Заключение

В этой статье мы рассмотрели три способа извлечения данных из устройств под управлением iOS. Мы уверены, что эта информация поможет вам выбрать правильный способ или способы при анализе смартфонов iPhone и других устройств под управлением iOS и её производных.

В начале апреля новый браузер Microsoft Edge, основанный на исходных кодах проекта Chromium, занял второе место по популярности, обойдя FireFox. В новой версии Edge разработчики Microsoft не просто проделали работу над ошибками, но использовали совершенно другую основу. Изменилось всё: возможности настройки и кастомизации, совместимость с операционными системами и способ отображения веб-страниц. Особый интерес для экспертов-криминалистов представляет новый способ хранения и защиты паролей, которые сохраняют в браузере пользователи.

Microsoft Edge Chromium

Официальная дата выхода Microsoft Edge Chromium — 15 января 2020 года. Новая версия Microsoft Edge основана на проекте браузера с открытым исходным кодом Chromium, который поддерживается как независимыми разработчиками, так и такими компаниями, как Google. В отличие от классического браузера Edge, представленного в Windows 10 и основанного на универсальной платформе Windows UWP, новый Microsoft Edge Chromium совместим со всеми актуальными версиями Windows и macOS. Старый Edge переименован в Edge Legacy; установка нового Edge Chromium на ПК с Windows 10 автоматически блокирует старый Edge.

Edge Chromium стремительно набрал популярность. Уже в апреле 2020 новый Edge занял второе место среди браузеров для настольных компьютеров, опередив Mozilla Firefox и Opera. С учётом того, что и Edge, и Google Chrome основаны на одном и том же проекте Chromium, можно сказать, что Chromium лидирует с большим отрывом.

Использование проекта Chromium позволило Microsoft предложить пользователям простой и лёгкий способ перехода с браузера Chrome на новый Edge. Буквально несколько нажатий, и все данные из браузера Chrome переносятся в браузер от Microsoft. Сюда входят закладки, история посещений и даже открытые вкладки и окна. Разумеется, не обошли стороной и пароли, которые также переносятся из Chrome.

Chromium Edge и Windows Data Protection API (DPAPI)

Для хранения ключей и паролей браузеры Microsoft Internet Explorer и «старый» Edge, переименованный в Edge Legacy, используют механизм Windows Credential Manager. Windows Credential Manager, в свою очередь, защищает данные посредством Microsoft Data Protection API (DPAPI), появившимся ещё в Windows 2000. В настоящее время в Windows 10 используется шифрование алгоритмом AES-256. Сохранённые в «классическом» Edge Legacy пароли можно просмотреть (и удалить) в апплете Web Credentials даже после того, как сам браузер был удалён из системы.

С переходом браузера на исходный код Chromium, Microsoft решила использовать стандартный для Chromium менеджер паролей вместо использования Windows Credential Manager. Соответственно, новый Edge Chromium больше не использует Microsoft DPAPI для защиты сохранённых паролей. Вместо этого пароли защищены стандартным алгоритмом AES-256 GCM, в то время как DPAPI используется только для защиты ключа шифрования от встроенного хранилища. Интересно, что другие веб-браузеры, основанные на проекте Chromium (сюда входят Google Chrome и Opera), используют аналогичную схему шифрования. Это включает в себя последние версии браузеров.

By default, Edge Chromium does not protect the encrypted password database with a master password. Instead, Microsoft uses the Data Protection API (DPAPI) to protect the encryption key with the user’s Windows credentials. In turn, DPAPI uses AES-256 to encrypt the encryption key.

Edge Chromium не использует концепцию мастер-пароля для защиты хранилища паролей. Вместо этого Microsoft использует API защиты данных (DPAPI) для защиты ключа шифрования посредством учётных данных пользователя Windows. В свою очередь, DPAPI использует AES-256 для шифрования ключа шифрования. Таким образом, для извлечения всех паролей пользователя достаточно узнать логин и пароль пользователя или использовать текущую авторизованную сессию. Именно такой способ мы реализовали в Elcomsoft Internet Password Breaker, и именно им воспользовались разработчики браузера Edge Chromium для того, чтобы мгновенно импортировать сохранённые пароли из браузера Google Chrome.

Использование Elcomsoft Internet Password Breaker для извлечения паролей из Edge Chromium

Механизм доступа к паролям в Edge Chromium похож на тот, который используется в последних версиях Google Chrome. Соответственно, для извлечения паролей из нового Edge необходимо пройти аутентификацию в учётной записи Windows пользователя (с помощью имени пользователя и пароля, данных учётной записи Microsoft, PIN-кода или подсистемы Windows Hello). Разумеется, можно использовать и уже аутентифицированную сессию. А вот просто извлечь диск из компьютера или снять образ файловой системы недостаточно: хранилище будет зашифровано, и расшифровать его без знания пароля пользователя от учётной записи Windows не представляется возможным.

Для извлечения паролей из Edge Chromium проделайте следующие шаги.

1. Запустите Elcomsoft Internet Password Breaker.
2. Выберитепунктменю Web Browsers – Edge Chromium.
3. Через несколько секунд будет выведен список паролей.

Кроме того, вы можете воспользоваться режимом экспорта паролей в файл (кнопка Export), который создаст создать отфильтрованный список всех паролей пользователя. Список паролей в дальнейшем можно использовать в качестве словаря для создания интеллектуальных атак в Elcomsoft Distributed Password Recovery.

Заключение

Браузер Edge Chromium – не эволюция «старого» Edge, а совершенно новый браузер. Новый механизм защиты сохраняемых пользователем паролей, сильно отличается от привычного по «старому» Edge и Internet Explorer хранилища DPAPI и диспетчера учётных данных Windows. Новое хранилище паролей предлагает пользователям тот же уровень защиты, что и старый Edge. В то же время извлечь пароли из нового хранилища проще, чем из диспетчера учётных данных Windows благодаря наличию хорошо документированных исходных кодов Chromium – впрочем, лишь в том случае, если у эксперта есть доступ к активной сессии пользователя или его логин и пароль. Извлечь пароли из образа файловой системы или с жёсткого диска, извлечённого из компьютера, не представляется возможным.

VeraCrypt – фактическая замена популярной программе шифрования дисков TrueCrypt и самый распространённый на сегодняшний день криптоконтейнер. В сравнении с TrueCrypt, VeraCrypt предлагает широкий выбор алгоритмов шифрования и хеширования паролей. Как выбранные алгоритмы влияют на безопасность данных и скорость атаки и что делать, если неизвестно, каким именно способом защищён зашифрованный контейнер?

VeraCrypt и алгоритмы шифрования

Ещё во времена TrueCrypt пользователям предлагался выбор из нескольких разных алгоритмов шифрования, в том числе несколько вариантов с последовательным шифрованием данных несколькими алгоритмами. В VeraCrypt этот выбор стал ещё шире. Теперь пользователю предлагается на выбор пять алгоритмов шифрования (AES, Serpent, Twofish, Camellia и «Кузнечик») и десять вариантов их последовательного использования.

С точки зрения эксперта-криминалиста выбор какого-то конкретного алгоритма шифрования или их комбинации не имеет большого значения: атака на ключ шифрования бесполезна как в случае с шифром «по умолчанию», в роли которого выступает AES-256, так и в случае выбора любого другого алгоритма или их последовательности. За десятилетия повсеместного использования и массовых исследований не взломали ни AES, ни какие-либо другие алгоритмы (за возможным исключением «Кузнечика», к которому у исследователей от криптографии есть вопросы).

Выбор алгоритма шифрования способен повлиять лишь на скорость доступа к зашифрованным данным, но не на скорость перебора паролей.

В то же время серьёзное влияние на скорость атаки оказывает простой факт: известно ли эксперту, какой именно алгоритм шифрования выбран. Если алгоритм известен, то атака будет достаточно быстрой; если же нет, то возможные стратегии включают атаку на алгоритм по умолчанию (AES-256 в качестве шифра и SHA-512 в качестве хеш-функции) и атаку по всему спектру возможных комбинаций шифров и функций хеширования. Последняя будет достаточно медленной (приблизительно в 175 раз медленнее атаки с настройками «по умолчанию»).

Важно отметить, что приложение Elcomsoft Distributed Password Recovery поддерживает все возможные комбинации алгоритмов шифрования и хеширования, включая атаку по всему спектру. Настройка атаки осуществляется в приложении Elcomsoft Forensic Disk Decryptor на этапе извлечения заголовка от зашифрованного диска.

VeraCrypt и функции преобразования пароля

Для того, чтобы зашифровать и расшифровать данные, криптоконтейнер не использует пароль. Для шифрования любым алгоритмом (от AES до «Кузнечика» включительно) используется двоичный ключ переменной длины, так называемый Data Encryption Key или Media Encryption Key (MEK). Каким именно образом пароль пользователя (вероятно, достаточно сложный) преобразуется в двоичный ключ MEK? Он и не преобразуется. Media Encryption Key для единожды созданного контейнера неизменен; он хранится в зашифрованном (точнее сказать, «обёрнутом», wrapped) виде прямо в составе контейнера, а в «развёрнутом» виде используется для доступа к данным.

Ключ шифрования данных MEK в обязательном порядке шифруется (дальше будет тавтология) ключом шифрования ключа шифрования Key Encryption Key (KEK). Без KEK невозможно расшифровать MEK, а без MEK невозможно расшифровать данные. Для чего нужна такая сложная схема? Например, для того, чтобы пользователь мог сменить пароль от зашифрованного диска без обязательной расшифровки и перешифровки всего содержимого. Однако роль пары ключей MEK/KEK этим сценарием не ограничивается. Так, достаточно будет затереть несколько сотен байт в заголовке контейнера (перезаписав область, в которой хранится MEK), и контейнер никто и никогда больше расшифровать не сможет, даже если точно известен пароль. Возможность моментального и безвозвратного уничтожения данных – важная часть общей стратегии безопасности.

Каким образом из пароля получается ключ KEK? VeraCrypt проводит циклическую последовательность односторонних (необратимых) математических преобразований – хеш-функций, причём количество циклов достаточно велико: по умолчанию преобразование производится 500,000 раз. Таким образом, с настройками «по умолчанию» на вычисление одного-единственного ключа KEK на основе введённого пароля VeraCrypt потратит от одной до 5-6 секунд.

Здесь наступает важный момент. В предыдущей главе были приведены скорости работы алгоритмов шифрования, а шифр AES оказался как самым быстрым, так и достаточно безопасным. С выбором алгоритма хеширования ситуация обратная: самый нестандартный и самый медленный алгоритм оказывается и наиболее безопасным. Производительность алгоритмов хеширования на единственном CPU Intel i7-9700K выглядит следующим образом:

Точно так же, как и в случае с алгоритмами шифрования, для проведения атаки на зашифрованный диск эксперт должен указать точный алгоритм хеширования – либо провести атаку на весь спектр алгоритмов.

Насколько быстро или медленно работает перебор паролей? На примере последней версии Elcomsoft Distributed Password Recovery 4.20 с поддержкой VeraCrypt мы получили следующие цифры:

Скорость атаки в стандартной конфигурации (алгоритм шифрования AES, хэш-функция – SHA-512) – 1140 паролей в секунду с загрузкой всех ядер процессора и использованием вычислительных ресурсов видеокарты NVIDIA GeForce 2070. Если провести подобную атаку на диск, зашифрованный алгоритмом Serpent, то цифры не изменятся (нет, мы не копировали данные: все цифры были перепроверены несколько раз). Скорость перебора в гораздо большей степени зависит от функции хеширования и в меньшей – от алгоритма шифрования. Впрочем, последовательное использование двух шифров уменьшит скорость перебора, а трёх – уменьшит ещё сильнее; разница, тем не менее, несравнима с тем, какое влияние на скорость перебора оказывает выбор хеш-функции. Так, выбор Whirlpool вместо SHA-512 замедляет скорость перебора с 1140 до 74.6 паролей в секунду. Самой медленной будет атака по всему спектру возможностей: всего 6.63 паролей в секунду, в 171 раз медленнее атаки с настройками «по умолчанию».

Использование Elcomsoft Distributed Password Recovery для восстановления паролей VeraCrypt

Elcomsoft Distributed Password Recovery позволяет проводить атаки с использованием как аппаратного ускорения (видеокарт AMD и NVIDIA), так и с использованием множества компьютеров, объединённых в единую вычислительную сеть. Тем не менее, если атака проводится на зашифрованный диск с неизвестными параметрами защиты, имеет смысл воспользоваться возможностями «умных» атак на основе как стандартных словарей, так и словарей, составленных из известных паролей пользователя (о том, как их извлечь из браузера Google Chrome, резервных копий iOS или облачных сервисов iCloud, Google Drive и Microsoft Account, мы писали неоднократно).

В EDPR можно ограничить наборы символов, в рамках которых будет осуществляться перебор:

В программе также доступна возможность автоматически перебирать распространённые вариации известных паролей (например, Password1, password1967 or pa$$w0rd):

Об использовании масок мы недавно писали. Маски – один из важнейших инструментов для эффективного перебора паролей:

В особо сложных случаях на помощь приходят гибридные атаки, позволяющие комбинировать слова из одного или двух словарей и использовать правила, основанные на скриптах:

Альтернативные способы расшифровки VeraCrypt

В ряде случаев восстановление оригинального пароля к контейнеру в разумные сроки не представляется возможным. В таких случаях стоит рассмотреть альтернативные варианты.

Извлечь готовый ключ шифрования и с его помощью смонтировать (или расшифровать целиком) зашифрованный раздел – самый быстрый и эффективный способ, которым можно воспользоваться. Суть его заключается в следующем.

Для того, чтобы расшифровать данные, криптоконтейнер не использует пароль. Для шифрования любым алгоритмом используется двоичный ключ переменной длины, так называемый Data Encryption Key или Media Encryption Key (MEK). Этот ключ шифрования (MEK) хранится в оперативной памяти компьютера; он же попадает в файлы гибернации и подкачки. Наличие ключа в оперативной памяти требуется для того, чтобы программа-криптоконтейнер могла получить доступ к зашифрованным данным. Обратите внимание: ключ шифрования хранится в оперативной памяти совершенно независимо от того, какой алгоритм шифрования пользователь выбрал в настройках контейнера. AES, TwoFish, Serpent, «Кузнечик» или любая комбинация алгоритмов – независимо от выбора пользователя, ключи шифрования будут храниться в оперативной памяти, а сложность и скорость их извлечения практически одинакова.

Таким образом, сложность этой атаки мало зависит как от выбора алгоритма шифрования, так и от способа преобразования пароля в двоичный ключ.

Есть несколько способов извлечения ключей шифрования. Если зашифрованный том был смонтирован во время изъятия компьютера, могут быть доступны следующие способы:

1. Анализ оперативной памяти компьютера (ОЗУ). Ключ шифрования хранится в оперативной памяти в течение всего времени, когда зашифрованный диск смонтирован.
2. Файл(ы) подкачки. Ключ шифрования может попадать или не попадать в файл подкачки. Тем не менее, их анализ (сканирование) занимает от нескольких минут до нескольких часов (что несравнимо с днями и неделями, которые потребуются для взлома пароля).
3. Файл гибернации. Windows использует файл гибернации для выгрузки части оперативной памяти компьютера на жёсткий диск, когда компьютер находится в спящем режиме (если включён гибридный спящий режим, а он включён по умолчанию). Кроме того, файл гибернации создаётся, когда компьютер находится в режиме гибернации (который по умолчанию отключён) и когда компьютер выключается (если активна функция быстрого запуска, которая включена по умолчанию).

Для извлечения ключей, снятия и анализа образа оперативной памяти используйте Elcomsoft Forensic Disk Decryptor:

Дополнительная информация в англоязычном разделе блога:

• How to Instantly Access BitLocker, TrueCrypt, PGP and FileVault 2 Volumes
• Elcomsoft Forensic Disk Decryptor Video Tutorial

Соответствие нормам безопасного хранения информации защита персональных данных – то, над чем работают практически все производители средств хранения информации. И если в корпоративном сегменте представлены относительно надёжные решения, то рекламным лозунгам «безопасное шифрование AES-256» в накопителях, ориентированных на домашний сегмент, безусловно верить не стоит. Неоднозначная реализация средств защиты, небезопасное хранение ключей, использование псевдослучайных чисел, выбранных из 255 вариантов – лишь немногое из того, с чем нам довелось столкнуться в процессе исследования. В этой статье мы расскажем о том, как и от чего защищает пользовательские данные производитель самых популярных среди домашних и офисных пользователей сетевых хранилищ Synology.

Шифрование в сетевых накопителях (NAS)

Конкуренция среди производителей сетевых хранилищ для домашних пользователей и офисов огромна. Здесь и исключительно популярные модели Western Digital, подкупающие нулевой или отрицательной ценой (NAS со встроенным диском стоит дешевле такого же диска отдельно), и признанные гранды QNAP и Synology, которые берут мощной программной частью и длительной поддержкой, и выступающие с переменным успехом Asustor и Drobo, и даже экзотические для нас Buffalo, Terra Master и Thecus.

В большинстве моделей этих производителей в том или ином виде присутствует шифрование, позволяющее защитить пользовательские данные. Некоторые производители довольно забавно рекламируют возможность шифрования:

От каких угроз способны защитить зашифрованные данные сетевые накопители, насколько серьёзные атаки способны выдержать и как всё-таки добраться до зашифрованных файлов? Попробуем разобраться.

Шифрование в Synology

Все сетевые накопители используют один и тот же алгоритм шифрования AES, как правило, с длиной ключа 256 бит (нам встречались варианты и со 192-битными ключами). Выбор алгоритма вполне логичен: большинство современных наборов микросхем в том или ином виде поддерживает аппаратное ускорение AES или хотя бы набор инструкций, использующихся именно в этом алгоритме. Тем не менее, реальная безопасность зашифрованных таким образом данных разительно отличается в зависимости от реализации.

В некоторых NAS, в которых есть возможность зашифровать данные, используется либо защита всего накопителя целиком (аппаратное шифрование SED на уровне контроллера SATA), либо шифрование тома, расположенного как на одном диске, так и на массиве RAID. В некоторых моделях (например, QNAP), можно активировать оба способа – и это правильно, т.к. позволяет избежать некоторых очевидных атак.

В моделях Synology, предназначенных для серверных стоек, также можно активировать аппаратное шифрование SED. Однако большинство домашних и офисных моделей такой возможности лишены. Вместо этого Synology предлагает использовать шифрование файлов на уровне отдельных сетевых папок.

Шифрование реализовано средствами стандартной для Linux файловой системы eCryptFS, о которой можно почитать здесь или здесь. В сравнении с методами шифрования, основанными на защите целых томов, у такого способа шифрования есть как достоинства, так и недостатки.

В достоинства можно записать следующее:

1. Поскольку шифруются отдельные сетевые папки, не имеет значения, на каком из внутренних физических или логических накопителей они расположены. А вот шифрование папок на внешних накопителях Synology не поддерживает.
2. Каждый пользователь может зашифровать свою папку своим собственным паролем. Таким образом, обеспечивается защита и между отдельными пользователями.
3. Стандартная реализация шифрования позволяет просто скопировать зашифрованную папку, к примеру, на другой накопитель – и данные останутся надёжно зашифрованными. При этом смонтировать и расшифровать такую папку получится стандартными средствами на любом компьютере с Linux.
4. Шифруются как сами данные, так и имена папок и файлов.

Если у пофайлового шифрования столько достоинств, почему производители корпоративных устройств предпочитают шифровать целые тома? К сожалению, у eCryptFS есть и ряд недостатков, способных серьёзно испортить опыт использования или даже сделать шифрование невозможным.

Шифрование, применяемое к отдельным файлам, не обеспечивает приемлемого уровня безопасности в ряде сценариев. В eCryptFS каждый файл хранится на диске отдельно; соответственно, даже без ключа шифрования легко определить такие вещи, как объём зашифрованных данных, количество файлов и размер каждого файла. Соответственно, к зашифрованным папкам применимы такие атаки, как профилирование по размеру файлов, что позволяет узнать содержимое зашифрованной папки, если размер заданного количества файлов совпадает с размером известных атакующему файлов.

Ещё один популярный сценарий – возможность моментального уничтожения данных на зашифрованном накопителе. Так, если используется зашифрованный том (BitLocker, VeraCrypt, FileVault 2 и т.п.), то пользователю достаточно удалить единственный блок данных, в котором содержатся ключ шифрования данных. После этого все данные на зашифрованном томе становятся перманентно недоступными – даже если взломщику известен пароль. В случае eCryptFS ключи шифрования данных хранятся в заголовке каждого отдельного файла, и их моментальное уничтожение невозможно.

Добавим сюда невозможность сменить пароль шифрования без длительной перешифровки метаданных, и получим классическую странную, непродуманную и небезопасную, зато – бесплатную и не требующую лицензионных отчислений реализацию шифрования.

Однако на этом проблемы eCryptFS не заканчиваются. Кроме ограничений, касающихся безопасности, в eCryptFS есть и чисто функциональные ограничения, основное из которых – ограничение на длину имён файлов. В имени файла в зашифрованной папке не может быть больше 143 символов ANSI или 47 символа иероглифической записи. На этом фоне невозможность использовать NFS с зашифрованными папками уже не удивляет.

Хорошо, об ограничениях eCryptFS поговорили; принципиально это те же ограничения, которые будут у любой другой компании, которая решит сэкономить на проектировании и разработке и использует в недешёвом коммерческом продукте готовое бесплатное решение с открытым исходным кодом. А что насчёт уязвимостей в конкретной реализации от Synology? Они есть, и их больше одной. Но прежде, чем говорить об уязвимостях, рассмотрим механизм управления ключами, реализованный в Synology.

Управление ключами шифрования в Synology DSM

Все сетевые хранилища Synology работают под управлением ОС под названием Disk Station Manager, DSM. Практически все модели компании (по крайней мере, те из них, которые были выпущены в последние 5-6 лет) работают под управлением унифицированной сборки DSM; обновления выходят практически одновременно для всех моделей. На сегодня актуальны сборки DSM 6.2.

Для управления ключами в DSM 6.2 используется утилита Key Manager, основная задача которой – хранение ключей и осуществление возможности автоматического монтирования зашифрованных томов после загрузки устройства.

После создания зашифрованной сетевой папки ключ (файл с расширением .key, представляющий из себя пароль в «обёртке» — практически обфускация) автоматически сохраняется на компьютер пользователя. Этот ключ можно сохранить (например, в зашифрованном архиве), а можно удалить – если пользователь уверен, что никогда не забудет пароль шифрования.

Пользователь может выбрать один из трёх вариантов управления ключами.

1. Полностью ручное управление. На устройстве Synology пароль не сохраняется (помним при этом о файле с ключом, который был автоматически сохранён на компьютер пользователя). При включении NAS или перезагрузке DSM зашифрованные тома автоматически размонтируются. Для их монтирования нужно будет зайти в администраторский веб-интерфейс, открыть раздел сетевых папок и вручную смонтировать все нужные зашифрованные папки. Для продвинутых пользователей существует неофициальный и недокументированный вариант с удалённым монтированием через SSH, но, полагаю, большинству домашних и офисных пользователей об этом неизвестно.
2. Двоичный ключ шифрования (“machine key” в терминах DSM) сохраняется на устройстве Synology. Зачем это может понадобиться пользователю? Именно для того, чтобы избежать описанных в первом пункте шагов для монтирования зашифрованного тома! Достаточно поставить галочку в пункте “mount on boot”, и DSM автоматически смонтирует зашифрованную папку при загрузке. Удобно! О безопасности, правда, можно забыть: если и ключ шифрования, и сами данные хранятся на одном и том же устройстве, то их расшифровка тривиальна как в случае анализа устройства целиком, так и при извлечении из него только дисков.
3. Наконец, реверанс в сторону безопасности: ключ шифрования сохраняется не на самом устройстве, а на внешнем USB накопителе. Более того, ключ шифрования MEK, сохранённый на внешнем USB накопителе можно зашифровать своим собственным паролем (KEK) – и это важный момент, позволяющий использовать сложный случайный набор символов для шифрования собственно файлов. Тем не менее, и для ключей шифрования, сохранённых на USB накопителе, опция “mount on boot” по-прежнему доступна. Это означает, что при активации этой опции пароль шифрования ключа (KEK), который вводит пользователь, сохраняется на устройстве Synology. Отметим и этот момент.Что происходит, если опция “mount on boot” включена, а USB накопитель с ключом вставлен в NAS во время загрузки DSM? Сетевые папки расшифровываются и монтируются автоматически. А если опция “mount on boot” выключена? Тогда не монтируются.Что произойдёт, если вставить USB накопитель с ключом уже после загрузки, когда зашифрованная папка не смонтирована? Автоматически не монтируется, будет предложен выбор из трёх вариантов аутентификации:

Как DSM получает двоичный ключ шифрования для алгоритма AES из пароля пользователя? Пароль шифрования, который указал пользователь, «оборачивается» очередным ключом, который называется “wrapping key”. Именно wrapping key выполняет роль ключа KEK, который должен защитить ключ шифрования данных MEK.

Примерно такую схему я ожидал увидеть при анализе защиты DSM. На самом же деле оказалось, что в DSM (уточню: в тех версиях DSM, которые работают на потребительских моделях Synology, предназначенных для дома и офиса) не используется ничего подобного. Данные, как мы выяснили, шифруются посредством пароля, который устанавливает пользователь. А вот сам пароль шифруется одной единственной жёстко прошитой в систему фразой “$1$5YN01o9y” – аналогом печально известного “default_password”, использующегося при шифровании по методу FDE в Android.

Что даёт такой подход к шифрованию? Во-первых, если пароль шифрования сетевой папки нам известен, расшифровать её содержимое мы можем на абсолютно любом компьютере с Linux, просто вытащив диск из сетевого накопителя. Сложности, связанные с монтированием RAID массива мы оставим в стороне – в конце концов, программы для этого существуют даже для Windows.

Во-вторых, если пользователь сохранил ключ во встроенной утилите Key Manager (а это делают часто, ведь монтирование зашифрованных папок в DSM – процесс небыстрый и не самый удобный), то такой сохранённый ключ тоже шифруется всё тем же wrapping key – теперь можно не только расшифровать данные, но и увидеть сам пароль, который вводил пользователь!

Если ключ шифрования сохраняется на встроенном накопителе, пароль wrapping passphrase сменить нельзя. Этот пароль один и тот же на всех накопителях Synology.

Что получается в результате? При использовании встроенной в DSM утилиты Key Manager уровень защиты данных отрицательный: и данные, и ключ шифрования MEK хранятся на жёстком диске, а ключ KEK фиксированный и нам известен. Соответственно, расшифровать можно не только данные пользователя, но и его пароль – который можно попробовать использовать для расшифровки другой информации по цепочке.

Для лучшего понимания всей глубины проблемы сравним механизм шифрования DSM с тем, что используют компьютеры с Windows. Для защиты данных в Windows используется широко известный и подробно документированный алгоритм BitLocker, которым можно зашифровать системный раздел. Ключ шифрования данных MEK сохраняется в составе контейнера; при этом ключ MEK будет зашифрован ключом KEK, который выдаёт защищённый модуль TPM2.0 (доступны разнообразные политики, позволяющие дополнительно защитить этот ключ PIN-кодом, ключом на флешке или комбинацией этих факторов). Извлечь оттуда этот ключ практически невозможно, проще провести лобовую атаку пароля учётной записи Windows. Таким образом, если мы извлечём из компьютера зашифрованный BitLocker-ом диск, то расшифровать его не удастся даже в том случае, когда используется защита самого начального уровня – BitLocker Device Protection. Для расшифровки потребуется, чтобы диск был установлен в тот самый компьютер с тем самым аппаратным модулем TPM, плюс – пароль от учётной записи пользователя. Просто TPM или просто пароля от учётной записи для расшифровки раздела недостаточно.

Если с защитой данных всё так плохо, то в чём смысл включать шифрование и использовать встроенный Key Manager? Причин несколько.

1. Peace of mind. Чувство защищённости и спокойный сон очень важны для здоровья. О том, что чувство безопасности – ложное, можно никогда и не узнать.
2. Безопасная продажа или утилизация работоспособного накопителя. При продаже или утилизации старых дисков потребуется уничтожить данные. Это можно сделать, полностью перезаписав содержимое накопителя, что займёт несколько часов. Но той же цели можно добиться проще и быстрее, просто удалив ключи шифрования из Key Manager. Теперь зашифрованные данные – просто цифровой шум, а диск достаточно заново инициализировать.Обратите внимание: в отличие от защиты BitLocker или VeraCrypt, в которых достаточно удалить единственный ключ шифрования данных, в Synology возможность атаки и восстановления даже удалённых зашифрованных файлов остаётся, и она заметно отлична от нуля. Сценарий «безопасной утилизации» дисков в сетевых накопителях Synology не реализован, и рассчитывать на него нельзя.
3. Если сохранить ключ не на встроенный, а на внешний USB накопитель, то Key Manager предложит ввести свой собственный пароль для защиты ключа. Теперь для расшифровки дисков потребуется USB накопитель с ключом шифрования. Впрочем, если активирован режим автоматического монтирования томов, то пароль, которым защищён ключ шифрования, будет сохранён на внутреннем накопителе Synology.

Выполнение любого из перечисленных ниже условий делает зашифрованные данные уязвимыми:

1. Пользователь добавляет ключ в Key Manager, сохраняя его на встроенном накопителе. Положение переключателя “mount on boot” в данном случае значения не имеет.
2. Пользователь сохраняет ключ на внешнем USB накопителе, и у злоумышленника есть доступ к этому накопителю.
3. Ключ шифрования автоматически сохраняется на компьютер пользователя при создании зашифрованной сетевой папке. Если злоумышленнику доступен этот ключ, проблемы с расшифровкой данных не будет. Имя файла по умолчанию — <name_of_encrypted_share>.key
4. Наконец, если злоумышленнику удалось узнать пароль шифрования, то расшифровка данных тривиальна. А вот защититься от неё чрезвычайно сложно: казалось бы, простейшая и привычная смена пароля в Synology превращается в многочасовую операцию по перешифровке метаданных.

Уязвимости и их использование

Итак, подытожим описанное выше. В Synology DSM используется стандартная криптографическая файловая система eCryptFS, при этом шифрование SED (Self-Encrypting Disk) на уровне SATA домашними и офисными устройствами не используется. Ключи шифрования могут сохраняться на встроенный или внешний накопитель. В первом случае ключ шифрования защищается фиксированным паролем; во втором – пароль задаёт пользователь, но этот пароль сохраняется на встроенном накопителе (по крайней мере, если включена опция “mount on boot”).

Уязвимость 1: Отсутствие шифрования SED, а также шифрования на уровне тома, позволяет извлечь диск и изменить пароль от административной учётной записи владельца устройства, просто отредактировав файл с учётными записями.

Уязвимость 2: Если пользователь сохранил ключ шифрования в DSM Key Manager, его можно извлечь и использовать для расшифровки зашифрованных данных. Кроме того, из сохранённого ключа шифрования легко разворачивается и оригинальный пароль, который вводил пользователь при создании зашифрованной сетевой папки.

Уязвимость 3: Все устройства Synology используют фиксированный пароль для шифрования ключа шифрования.

Следующая команда отобразит оригинальный пароль, который вводил пользователь при создании зашифрованной папки:

printf "%s" "\$1\$5YN01o9y" | ecryptfs-unwrap-passphrase keyfile.key -

Здесь “$1$5YN01o9y” – тот самый фиксированный ключ wrapping passphrase, а “keyfile.key” – зашифрованный ключ шифрования данных MEK.

Узнав пароль, можно смонтировать зашифрованную папку на любом компьютере с Linux. То же самое можно сделать и одной командой посредством файла с ключом шифрования:

mount -t ecryptfs -o key=passphrase,ecryptfs_cipher=aes,ecryptfs_key_bytes=32,ecryptfs_passthrough=no,ecryptfs_enable_filename_crypto=yes,passwd=$(printf "%s" "\$1\$5YN01o9y" | ecryptfs-unwrap-passphrase /path/to/keyfile.key -) /path/to/encrypted/folder /path/to/mountpoint

Пути /path/to/keyfile.key, /path/to/encrypted/folder и /path/to/mountpoint нужно заменить на фактически используемые. Физически зашифрованное содержимое сетевых папок DSM сохраняет в следующей коннотации:

/Volume<N>/@<name_of_encrypted_share@

В примере выше путь будет таким:

/Volume1/@Encrypted_Share@

Статьи по теме:

• How To Recover Synology encrypted folders in Linux (Robert Castle)
• How to decrypt ecryptfs file with private key instead of passphrase (slackexchange)
• Automatically mounting encrypted folders (на немецком) (synology-forum.de)
• Script: Decrypt encrypted folders via keyfile (.key) (на немецком) (synology-forum.de)

Если пользователь сохранил ключ на внешнем USB накопителе, DSM запросит ввести пароль для шифрования этого ключа.

Если пользователь настроит сетевую папку таким образом, чтобы она автоматически подключалась после загрузки устройства, то этот пароль сохраняется на внутреннем накопителе. Пароль можно извлечь и использовать для доступа к данным.

Наконец, если пользователь ни в каком виде не сохранил ключ шифрования в Key Manager, то данные в относительной безопасности. «Относительной» потому, что средняя энтропия пользовательских паролей значительно ниже энтропии 256-битного ключа шифрования AES. Атаки на пароли именно этого типа существуют давно, отлично оптимизированы и работают чрезвычайно быстро (в отличие, например, от атак на ключи BitLocker или документы, созданные в Microsoft Office 2016, которые при прочих равных работают значительно медленнее). Никто не отменял и человеческий фактор (1, 2, 3 и 4), который также может использоваться для взлома таких паролей.

Заключение

Данные расшифрованы, всё пропало? Реальная безопасность «непробиваемого» шифрования в Synology оказалась ниже ожидаемой в силу отсутствия каких-либо аппаратных механизмов обеспечения безопасности и сомнительного выбора базовой платформы. Для обеспечения безопасности ключей шифрования в iOS используется Secure Enclave, в Windows – TPM2.0, в устройствах с Android – TrustZone. В домашних и офисных моделях Synology не используется ничего из вышеперечисленного, хотя даже в SoC Realtek RTD1296, на которой основаны младшие модели Synology DS118, DS218Play и DS218, поддержка ARM TrustZone есть. Роль аппаратного модуля безопасности выполняет фиксированная фраза “$1$5YN01o9y” – аналог “default_password” в старых версиях Android.

Выбор средств защиты данных – всегда компромисс между удобством и безопасностью. И если в Windows, Android и iOS мы получаем стойкую защиту зашифрованных файлов, которую не удалось пробить даже эксплуатации уязвимости на уровне загрузчика, то у пользователей Synology выбор простой: или относительно безопасно, но неудобно (сетевые папки монтировать каждый раз вручную, через веб-интерфейс, вводя каждый раз более или менее стойкий пароль шифрования), или удобно, но с нулевым уровнем безопасности. Компромиссным решением будет хранение ключа шифрования на подключаемой к устройству флешке, которую можно вставлять в процессе загрузки и физически извлекать из накопителя после её завершения.

Сообщения о взломах, утечках паролей, украденных, уничтоженных или зашифрованных файлах давно не способны удивить. Можно ли защитить свои данные от подобных угроз, и что нужно делать? Достаточно ли зашифровать информацию «неуязвимым шифрованием» AES с 256-битным ключом, которое «надёжно защитит от хакеров»? Наш опыт позволяет утверждать, что шифрование данных само по себе способно защитить лишь от узкого спектра угроз – и совершенно неэффективно против взломов, утечек, воровства, уничтожения или шифрования файлов с целью вымогательства. В этой статье рассказывается о том, от каких угроз и какими способами может защитить свои файлы обычный пользователь.

Откуда исходит опасность?

Прежде, чем предпринимать какие-либо меры по защите системы и файлов, нужно понять, от каких именно угроз вы собираетесь строить защиту. Защита от зловредного программного обеспечения и вымогателей-шифровальщиков работает не так, как защита файлов в случае кражи компьютера, которая, в свою очередь, недостаточна для защиты действительно важных данных. Однако некоторые меры безопасности необходимо предпринять в любом случае, и речь сейчас совершенно не об установке широко разрекламированного антивируса или не менее разрекламированного сервиса VPN.

Шифрование диска: защита системного раздела BitLocker

Шифрование загрузочного раздела – та самая «неуязвимая защита», которая, по утверждению многих компаний, «надёжно защитит ваши данные от хакеров».

На самом же деле шифрование само по себе не способно защитить ваши данные ни от вирусов, ни от хакеров – по крайней мере, если вы хотя бы время от времени обращаетесь к зашифрованным данным.

И тем не менее, зашифровать загрузочный раздел встроенной в Windows утилитой BitLocker совершенно необходимо; просто защита эта – вовсе не от хакеров и не от вирусов-шифровальщиков. От чего же защитит шифрование диска?

• Доступность: Windows 10 Professional и выше; требуется наличие модуля TPM0, подсистемы Intel PTT или, если нет ни одного из них, редактирование групповых политик Windows. Шифрование device encryption доступно во всех редакциях Windows, работающих на многих субноутбуках и планшетах (к примеру, Microsoft Surface).
  • Обратите внимание: Windows 10 Home не может создавать зашифрованные разделы или шифровать диски. В то же время в ней можно монтировать уже зашифрованные диски без каких-либо ограничений.
• Защита от физического доступа к диску, извлечённому из компьютера: максимальная
• Защита от физического доступа к самому компьютеру: зависит от ряда условий
• Другие локальные пользователи компьютера: отсутствует
• Зловредное ПО, вирусы-шифровальщики: отсутствует
• Дистанционный взлом: отсутствует
• Сценарии использования: защита данных в случае кражи жёсткого диска или всего устройства; мгновенное уничтожение доступа к данным при продаже жёсткого диска или его отправке в мастерскую для гарантийного ремонта.

Шифрование – это сложно? Долго? Замедляет доступ к данным? Ответ во всех случаях отрицательный. Чтобы включить шифрование BitLocker, достаточно иметь компьютер с Windows 10 Professional или Enterprise, который будет оборудован или модулем TPM2.0 (они встречаются нечасто), или программным эмулятором Intel Platform Trust Technology (его нужно будет включить в BIOS). Далее откройте Панель управления и запустите апплет BitLocker Drive Encryption.

Детальное исследование BitLocker выходит далеко за рамки этой статьи, поэтому заинтересовавшихся читателей приглашу ознакомиться с нашей статьёй Introduction to BitLocker: Protecting Your System Disk. В этой статье, в частности, рассказывается о том, как включить BitLocker, если нет ни TPM2.0, ни Intel PTT.

Если вы – пользователь ультралёгкого ноутбука, то ваш системный раздел может быть уже зашифрован, даже если на нём установлена Windows 10 Home. Шифрование BitLocker Device Encryption применяется автоматически, если ваша административная учётная запись привязана к учётной записи Microsoft Account (а не создана в качестве локальной).

От чего защитит шифрование системного раздела? В первую очередь – от физического копирования данных при извлечении диска любой природы (HDD, SSD, NVME) из компьютера. Обратите внимание: если диск извлекли из компьютера, то расшифровать защищённый раздел злоумышленнику не удастся, даже если ему известен ваш пароль. Для расшифровки потребуется длинный двоичный ключ BitLocker Recovery Key (который, кстати, может сохраняться в учётной записи Microsoft Account; если злоумышленнику станет известен пароль от неё, то и извлечение этого ключа не составит проблемы).

Во вторую – от несанкционированного доступа к данным, если украден весь компьютер или ноутбук целиком. Стойкость защиты в этом случае зависит от таких факторов, как возможность угадать ваш пароль или извлечь из компьютера образ оперативной памяти. Так, BitLocker уязвим перед следующими векторами атак:

1. Снятие образа оперативной памяти и поиск ключей шифрования, в том числе через порты Thunderbolt или посредством атаки cold boot attack.
2. Перебор или извлечение пароля от вашей учётной записи Windows (извлечь пароль можно, к примеру, из облака Google account, если вы сохранили в нём пароль от учётной записи Microsoft и использовали её для входа в компьютер).
3. Obtaining your BitLocker Recovery Key from your Microsoft Account or Active Directory.

А вот от каких-либо дистанционных или вирусных атак BitLocker не защитит: если вы сумели войти в систему, значит, содержимое зашифрованного раздела уже доступно для чтения и записи. Точно так же BitLocker не защитит и от других пользователей, которым вы разрешили доступ к компьютеру.

Дополнительная информация: BitLocker recovery guide

Ещё о шифровании: защита внешних накопителей

BitLocker – прекрасное решение для защиты системного раздела, но его роль этим не ограничивается. Если ваша редакция Windows поддерживает BitLocker, то вы сможете использовать его для шифрования других встроенных дисков, а также внешних накопителей USB (флешки, внешние жёсткие диски и т.п.)

Для шифрования внешних устройств предусмотрен режим BitLocker To Go. В отличие от защиты системного раздела, шифрование BitLocker To Go основано на пароле. Вы можете использовать любой пароль (желательно, чтобы он не совпадал ни с одним из используемых вами паролей, особенно – с паролем от учётной записи Windows). Для удобства вы сможете сделать так, что зашифрованные внешние накопители будут монтироваться на вашем компьютере автоматически (без запроса пароля). С одной стороны, это несколько снижает безопасность, когда у злоумышленника есть доступ не только к зашифрованному накопителю, но и к вашему компьютеру. С другой – если речь о зашифрованной флешке, которую вы потеряли в поездке, то данным ничего не угрожает (если пароль стойкий и неизвестен злоумышленнику).

• Доступность:
  • Создание зашифрованного накопителя: Windows 10 Professional и выше
  • Доступ к уже зашифрованным накопителям: любые редакции Windows 10 без каких-либо ограничений
• Защита от физического доступа к устройству, извлечённому из компьютера: зависит от стойкости выбранного пароля
• Защита от физического доступа к самому компьютеру: аналогично предыдущему разделу
• Другие локальные пользователи компьютера: зависит от того, было ли смонтировано устройство
• Зловредное ПО, вирусы-шифровальщики: зависит от того, было ли смонтировано устройство (отсутствует, если устройство подключено и смонтировано)
• Дистанционный взлом: зависит от того, было ли смонтировано устройство (отсутствует, если устройство подключено и смонтировано)
• Сценарии использования: защита данных на внешних накопителях в случае кражи или потери; мгновенное уничтожение доступа к данным при продаже устройства или отправке в ремонт.

В отличие от защиты системного раздела, BitLocker To Go does не поддерживает многофакторную аутентификацию (TPM+PIN и подобные схемы). Соответственно, модуль TPM не может быть использован для дополнительной защиты.

Шифрование сторонними утилитами

Если ваша редакция Windows не поддерживает BitLocker, вы можете воспользоваться одной из альтернативных утилит. В частности, высочайший уровень защиты обеспечивает бесплатная утилита с открытым исходным кодом VeraCrypt.

• Доступность: все версии Windows 10 (а также более старые ОС)
• Защита от физического доступа к устройству, извлечённому из компьютера: высокая; зависит от стойкости выбранного пароля
• Защита от физического доступа к самому компьютеру: так же или выше, чем у BitLocker (зависит от настроек)
• Другие локальные пользователи компьютера: зависит от того, было ли смонтировано устройство
• Зловредное ПО, вирусы-шифровальщики: зависит от того, было ли смонтировано устройство (отсутствует, если устройство подключено и смонтировано)
• Дистанционный взлом: зависит от того, было ли смонтировано устройство (отсутствует, если устройство подключено и смонтировано)
• Сценарии использования: защита данных в случае извлечения накопителя; мгновенное уничтожение доступа к данным при продаже накопителя или отправке в ремонт.

Правильно настроить VeraCrypt сложнее, чем BitLocker, а обсуждение этих настроек выходит далеко за рамки данной статьи. Я подробно описал особенности защиты VeraCrypt в статье

Как укрепить «Веру». Делаем шифрованные контейнеры VeraCrypt неприступными, опубликованной в журнале «Хакер».

Шифрование средствами файловой системы (EFS)

Согласно Википедии, Encrypting File System (EFS) — система шифрования на уровне файлов, предоставляющая возможность «прозрачного шифрования» данных, хранящихся на разделах с файловой системой NTFS, для защиты потенциально конфиденциальных данных от несанкционированного доступа при физическом доступе к компьютеру и дискам.

Описание сколь точное, столь и бесполезное, не объясняющее того, для кого, а главное – в каких ситуациях предназначена EFS, а также от каких именно угроз она способна уберечь.

• Доступность: все версии Windows 10 (а также более старые ОС), за исключением редакции Home
• Защита от физического доступа к устройству, извлечённому из компьютера: высокая; зависит от стойкости пароля к учётной записи Windows
• Защита от физического доступа к самому компьютеру: аналогично предыдущему
• Другие локальные пользователи компьютера: эффективная защита
• Зловредное ПО, вирусы-шифровальщики: данные других пользователей компьютера защищены от извлечения, но не от уничтожения или шифрования; данные текущего пользователя не защищены
• Дистанционный взлом: аналогично предыдущему
• Сценарии использования: защита данных в случае, когда компьютером пользуется несколько человек; защита от кражи информации, если взломана одна из других учётных записей на том же физическом компьютере; эффективный дополнительный уровень защиты от физического доступа, если используется шифрование системного раздела BitLocker.

Как видно из приведённой выше таблицы, шифрование файлов средствами EFS максимально эффективно для защиты файлов и документов между разными пользователями одного и того же компьютера. Даже если у одного из пользователей компьютера есть административные привилегии, он не сможет прочитать зашифрованные данные, даже если сбросит пароль другого пользователя. Впрочем, удалить или зашифровать защищённые EFS файлы ему удастся.

В чём разница между EFS и BitLocker, и какую из этих технологий имеет смысл использовать?

BitLocker защищает целый раздел. Если вашим компьютером пользуется (имеет учётные записи) несколько человек, каждый из них сможет получить доступ к данным. Если один из пользователей имеет административные привилегии, он сможет прочитать любые файлы любого другого пользователя.

EFS защитит только те папки и файлы, для которых пользователь указал соответствующий атрибут. В то же время прочитать зашифрованные файлы сможет только сам пользователь (или тот, кому известен его пароль); другие пользователи, даже администраторы, прочитать зашифрованные файлы не смогут.

В случае кражи устройства или извлечения диска первой линией обороны становится BitLocker. Если злоумышленнику удастся преодолеть этот рубеж, ему придётся взламывать ещё и шифрование EFS. В то же время рассчитывать исключительно на EFS (без BitLocker) в качестве защиты от физического доступа не стоит: BitLocker предлагает защиту длинным и стойким аппаратным ключом (конфигурация TPM/Intel PTT), в то время как файлы, зашифрованные EFS, защищены лишь паролем от учётной записи.

Как включить шифрование EFS? Проще простого. Выберите файл или папку, которую хотите защитить, и кликните по ней правой кнопкой мыши. В меню выберите Properties, затем Advanced во вкладке General. В Advanced Attributes выберите опцию Encrypt contents to secure data и кликните OK.

На том – всё: Windows зашифрует файлы в фоновом режиме.

У использования EFS есть один недостаток. Если вы забудете пароль от учётной записи или вам придётся его сбросить, вы потеряете доступ к зашифрованным файлам. Для восстановления доступа рекомендуем воспользоваться утилитой Elcomsoft Advanced EFS Data Recovery, для работы которой вам потребуется указать тот пароль от учётной записи, который использовался до сброса.

Обратите внимание: менять пароль от учётной записи штатным образом (через соответствующий диалог в Windows) вы можете без ограничений; система автоматически и моментально перешифрует все необходимые ключи.

Защита важных документов

Итак, два слоя защиты мы уже рассмотрели: это шифрование загрузочного раздела посредством BitLocker и шифрование папок с файлами или отдельных файлов средствами EFS. Эти уровни отлично защитят от ряда угроз, но совершенно не справятся с другими. И BitLocker, и EFS оказываются бессильными, если на ваш компьютер производится дистанционная атака, устанавливается зловредное программное обеспечение или троян-шифровальщик. Это нормально: описанные выше технологии и не предназначены для защиты от такого рода угроз.

Защититься от кражи конфиденциальной информации как на вашем компьютере, так и в момент пересылки поможет шифрование самих документов средствами Microsoft Office.

Шифрование отдельных документов – важная часть многоуровневой стратегии безопасность. Шифрование не защитит документы от удаления зловредным ПО или перешифровки трояном-вымогателем. Однако доступа к информации, которая содержится в зашифрованных документах, ни вирус, ни троян-шифровальщик, ни хакер не получат. Разумеется, лишь в том случае, если для защиты вы использовали стойкий, а главное – уникальный пароль, который не сохранялся, не пересылался и не использовался где-либо ещё. (Если вы отправили пароль по почте или через программу мгновенного обмена сообщениями – забудьте всё, что было написано выше: никакой защиты более нет до тех пор, пока вы не сохраните документ с новым паролем.)

• Доступность: все версии Microsoft Office
• Степень защиты: сильная зависимость как от пароля, так и от версии Microsoft Office и формата файла, в котором сохранён документ. Максимальная степень защиты с современными (Office 2013 и более новыми) версиями Office при использовании форматов .DOCX, .XLSX и т.д. (в отличие от старых форматов .DOC, .XLS, степень защиты которых низкая).
• Защита от физического доступа к устройству, извлечённому из компьютера: аналогично предыдущему
• Защита от физического доступа к самому компьютеру: аналогично предыдущему
• Другие локальные пользователи компьютера: аналогично предыдущему
• Зловредное ПО, вирусы-шифровальщики: содержимое документов защищено от несанкционированного доступа, но не от уничтожения или шифрования
• Дистанционный взлом: аналогично предыдущему
• Сценарии использования: защита важных данных, которые хранятся в таблицах и документах Microsoft Office; защита данных не только на компьютере пользователя, но и во время пересылки.
• Как включить шифрование: Защита документов паролем

Что выбрать между шифрованием EFS и защитой документов паролем? Эти виды защиты покрывают разные сценарии использования. EFS – совершенно прозрачная защита всей папки с документами. Стоит вам войти в систему, и вы сможете пользоваться любыми защищёнными документами без ввода дополнительных паролей. Стоит злоумышленнику узнать пароль от вашей учётной записи Windows, и он сможет получить доступ ко всем защищённым EFS файлам.

В то же время шифрование средствами Microsoft Office потребует от вас сознательных усилий. Вам придётся вводить пароль каждый раз при открытии документа. Однако защищённые таким образом документы злоумышленнику потребуется взламывать по одному, а степень защиты у Microsoft Office может быть очень высокой.

Особенности шифрования документов

Шифрование документов в Microsoft Office имеет ряд особенностей, полное описание которых выходит за рамки данной статьи. Однако коротко перечислить все пункты необходимо во избежание ошибок.

1. Стойкость защиты зависит от версии Microsoft Office, которая сохранила документ или таблицу. Полный обзор безопасности шифрования в разных версиях офисных приложений приводится в статье Microsoft Office encryption evolution: from Office 97 to Office 2019. В целом же использование относительно свежей (всего восьмилетней давности) пакета Office 2013 (и, разумеется, любых более новых версий) отлично обезопасит ваши документы.
2. Не менее важен и формат файла, в котором вы будете сохранять документ. Даже сегодня, в 2020 году, нам часто присылают документы в устаревших форматах .DOC/.XLS (с точки зрения отправителя – «совместимых»; вероятно, нас подозревают в пользовании программ 17-летней давности). Проблема с этими форматами в том, что их безопасность заморожена на уровне 17-летней давности; взломать их защиту не составит большого труда. Если вы до сих пор сохраняете документы в «режиме совместимости» — откажитесь от этой практики и перейдите на «новый», 13-летней давности формат .DOCX/.XLSX.
3. Степень защиты зависит от стойкости и уникальности пароля. Если вы используете один и тот же пароль для защиты как документов, так и чего-то другого, взломав «что-то другое», злоумышленник получит доступ и к вашим зашифрованным документам.
4. Если вы хотя бы раз переслали пароль по email или через программу мгновенного обмена сообщениями, считайте и этот пароль, и переданный документ скомпрометированными. Взлом почтового ящика, вашего компьютера или удалённого сервера позволят злоумышленнику получить доступ к зашифрованной информации.

Защита архивов и резервных копий

О том, что резервные копии делать необходимо, говорят все. О том, что их необходимо защищать, обычно не говорят совсем. Подумайте о том, что резервная копия содержит все те файлы и всю ту информацию, которую вы хотели бы защитить на компьютере, но готовы сохранить в виде обычного, незашифрованного файла.

При создании резервных копий используйте следующие рекомендации.

1. Сохраняйте резервные копии на устройствах (встроенных или внешних накопителях), защищённых BitLocker. Напомню, что никаких дополнительных неудобств это не несёт: вы можете настроить защиту BitLocker таким образом, чтобы Windows автоматически монтировала накопитель, если вы вошли в систему. Использование BitLocker защитит ваши резервные копии даже если программа резервного копирования не поддерживает шифрования. Обратите внимание: если вам придётся восстанавливать систему из образа резервной копии, Windows 10 корректно смонтирует защищённый BitLocker накопитель. Для монтирования внешних устройств (BitLocker To Go) вам потребуется только пароль, а для доступа к встроенным дискам – длинный двоичный BitLocker Recovery Key (обычно Windows предлагает сохранить его в учётной записи Windows Account при создании зашифрованного тома).
2. Если вы используете для создания резервных копий программу, которая поддерживает шифрование – задайте пароль и используйте шифрование. Обратите внимание: утилита, вероятно, сохранит ваш пароль в системе (чтобы не запрашивать пароль каждый раз при создании резервной копии). Не используйте этот пароль повторно для защиты других типов данных.

Одним из распространённых инструментов частичного резервного копирования являются привычные всем утилиты-архиваторы: WinZip, 7Zip, WinRar и подобные. Все эти утилиты предлагают возможность шифрования содержимого резервных копий паролем. Стойкость шифрования у разных утилит различается, но общий уровень защиты достаточно высок. Использование стойкого, уникального пароля, составленного как минимум из 8 символов (желательно использовать буквы, цифры и специальные символы и не использовать слова из словаря) защитит архив в достаточной мере. Если же вы разместите архивы на накопителе, зашифрованном посредством BitLocker, то данные будут надёжно защищены.

Обратите внимание: стойкость шифрования архивов ZIP/7Z/RAR существенно ниже, чем стойкость BitLocker или документов Office 2013 (и более новых). Не используйте один и тот же пароль для шифрования архивов и других типов данных.

Дополнительная информация:

• How to restore a Windows 10 system image
• Bitlock external USB backup drive

Безопасность в облаке: личное хранилище OneDrive Personal Vault

Хранение документов в облаке OneDrive – отличный вариант резервного копирования и синхронизации данных. Безопасность приватных данных в облаке можно обеспечить шифрованием отдельных документов. Однако OneDrive предлагает и ещё один, дополнительный уровень безопасности: Личное хранилище OneDrive.

Что такое «личное хранилище OneDrive»? На сайте Microsoft даётся предельно косноязычное описание: «Личное хранилище в OneDrive защищено проверкой личности, чтобы вы могли хранить свои самые конфиденциальные файлы в облаке, не теряя удобства повсеместного доступа.»

Думаю, стоит пояснить. Личное хранилище – это ещё одна, особая папка в OneDrive, доступ к которой дополнительно защищён. Что значит «дополнительно защищён»? Чтобы зайти в эту папку, потребуется ввести пароль и пройти проверку двухфакторной аутентификации (например, подтвердив push-уведомление в приложении Microsoft Authenticator, установленном на вашем смартфоне). Да, это необходимо будет делать каждый раз, когда вы захотите получить доступ к папке «личного хранилища»: доступ к папке автоматически блокируется спустя короткое время (порядка 15 минут) после того, как вы перестанете ей пользоваться. Однако огромный плюс этого решения в том, что никто другой (ни дистанционный взломщик, ни сетевой пользователь, ни троян-шифровальщик, ни даже злоумышленник, укравший ваш пароль от Windows) не сможет получить доступ к файлам, которые хранятся в папке «личного хранилища».

В то же время дополнительная проверка – это дополнительное неудобство; защищать таким образом все документы вы вряд ли захотите. «Личное хранилище OneDrive» — прекрасный дополнительный уровень защиты для документов, которым такая защита необходима. Примеры таких данных – секретные QR-коды для инициализации двухфакторной аутентификации, ключи восстановления доступа к зашифрованным дискам BitLocker и подобные вещи.

Насколько серьёзна защита «личного хранилища» и как сильно она повышает безопасность? Решение OneDrive Personal Vault появилось совсем недавно; независимых исследований его безопасности не проводилось. Мы будем внимательно следить за состоянием дел в этой области и опубликуем статью, как только нам станет известно больше.

• Доступность: все редакции Windows с последней версией приложения OneDrive
• Защита от физического доступа к устройству, извлечённому из компьютера: не тестировалось
• Защита от физического доступа к самому компьютеру: не тестировалось
• Другие локальные пользователи компьютера: эффективная защита
• Зловредное ПО, вирусы-шифровальщики: не тестировалось
• Дистанционный взлом: эффективная защита
• Сценарии использования: защита особо важных, но редко используемых данных (ключи восстановления доступа к зашифрованным дискам, коды инициализации приложений двухфакторной аутентификации и т.п.)

Наша рекомендация: если вы храните в облаке OneDrive такие вещи, как ключи восстановления доступа или списки паролей в таблице, переместите их в «личное хранилище». Оно обеспечит эффективный дополнительный уровень безопасности против целого ряда угроз.

Защита от шифровальщиков-вымогателей

В последнем разделе статьи я хочу рассказать об одном из максимально эффективных способов защиты от вирусов-шифровальщиков.

Что такое шифровальщик? Этим термином (другие названия – вирус-вымогатель, ransomware) обозначают класс зловредного программного обеспечения, который, проникнув на компьютер, зашифровывает данные пользователя собственным ключом. После того, как данные будут зашифрованы, программа блокирует работу компьютера или выводит окно, в котором от пользователя требуют заплатить выкуп. Как правило, вымогатели требуют немедленно перевести сумму в криптовалюте, угрожая удвоить сумму спустя сутки, а через два дня – полностью уничтожить данные. Программы-вымогатели несут серьёзный риск для домашних пользователей и представляют проблему как для частных компаний, так и для государственных учреждений. Вирусы-вымогатели уже использовались злоумышленниками для того, чтобы вывести из строя госпитали и образовательные учреждения.

Защититься от вирусов-вымогателей достаточно сложно. Классическая антивирусная защита способна определить и справиться с уже существующими угрозами, но не дают гарантии эффективной защиты против новых поколений зловредного ПО. Производители операционных систем (пока – только Microsoft) и облачных сервисов (пока – тоже только Microsoft) начали добавлять дополнительные уровни обороны, нацеленные именно на защиту от вымогателей-шифровальщиков.

Первый уровень защиты – встроенный в Windows 10 режим управляемого доступа к папкам. Управляемый доступ к папкам позволяет защитить ценные данные от вредоносных приложений и угроз; в частности – от вирусов-шифровальщиков. По утверждению компании, эта технология позволяет эффективно защитить систему не только от известных уязвимостей, но также от неизвестных, то есть 0day.

Включить управляемый доступ к папкам можно следующим образом:

Подробнее об этом режиме можно узнать по ссылкам:

• Защита важных папок с помощью управляемого доступа к папкам
• Управляемый доступ к папкам в Windows 10 защитит от криптовымогателей

Управляемый доступ к папкам обладает следующими свойствами.

• Доступность: все редакции Windows 10 Fall Creators Update и более новые
• Защита от физического доступа к устройству, извлечённому из компьютера: нет
• Защита от физического доступа к самому компьютеру: нет
• Другие локальные пользователи компьютера: нет
• Зловредное ПО, вирусы-шифровальщики: достаточно эффективна в качестве первого (но не единственного) уровня защиты
• Дистанционный взлом: нет
• Сценарии использования: защита отдельных папок (документы, фотографии, другие данные пользователя) от вирусов-шифровальщиков, троянов и других видов зловредного ПО

Рекомендуем обязательно включить режим управляемого доступа для защиты папок с документами, фотографиями и другими важными данными.

Второй уровень защиты от вымогателей: восстановление файлов

Борьба с вымогателями ведётся с переменным успехом. Даже использование управляемого доступа к папкам не даст абсолютной гарантии защиты. Что делать, если вирусу-вымогателю всё же удалось проникнуть на ваш компьютер и зашифровать папку с документами? Разумеется, пользователи, которые в прошлом уже подвергались атакам, создают резервные копии. Однако у подавляющего большинства пользователей резервных копий или нет совсем, или они утратили актуальность. Как раз для таких пользователей и предназначена защита от вымогателей, предоставляемая компанией пользователям облачного хранилища OneDrive в рамках подписки на пакет Microsoft Office 365.

Защита файлов в OneDrive от вымогателей-шифровальщиков включается и работает полностью автоматически у всех подписчиков Office 365; от вас не требуется никаких действий. Если зловредное ПО удалит или зашифрует файлы, синхронизированные с облаком OneDrive, система уведомит об этом пользователя и предложит откатить изменения, восстановив таким образом уничтоженные или зашифрованные данные.

• Доступность: подписчикам Office 365, использующим OneDrive
• Защита от физического доступа к устройству, извлечённому из компьютера: нет
• Защита от физического доступа к самому компьютеру: нет
• Другие локальные пользователи компьютера: нет
• Зловредное ПО, вирусы-шифровальщики: чрезвычайно эффективна в качестве пассивной защиты и своеобразной страховки, позволяя восстановить оригинальные версии файлов уже после того, как их удалит или уничтожит зловредное ПО
• Дистанционный взлом: нет
• Эффективность защиты: чрезвычайно эффективна
• Сценарии использования: защита облачных данных (любые данные, которые синхронизируются с OneDrive) и возможность восстановления оригинальных файлов после работы вирусов-шифровальщиков, троянов и других видов зловредного ПО

Если вы – пользователь Dropbox, то ваши файлы защищены системой Dropbox Rewind, которая работает похожим образом. Для её использования вы должны быть подписчиком уровня Plus или Professional.

«Холодные» резервные копии

Если вы относитесь к той немногочисленной категории пользователей, которая всё-таки создаёт резервные копии, обратите внимание на то, каким именно образом вы храните копии данных. Стандартной практикой является регулярное создание так называемых «горячих» резервных копий (инкрементные копии с системой версий, позволяющие восстановить одну из предыдущих версий файла; создаются автоматически по расписанию, сохраняются на всегда доступное подключённое устройство). В то же время рекомендуется периодическое создание полных резервных копий данных, которые постоянно хранятся на физически отключённом устройстве – например, портативном жёстком диске. Хранение «холодной» резервной копии на обесточенном, не подключённом к компьютеру накопителе позволит уберечься от любых угроз, связанных со взломом вашего компьютера.

Дополнительно:

• Использование истории файлов для резервного копирования и восстановления в Windows 10 (Microsoft)

Заключение

В одной статье невозможно подробно описать все угрозы и способы защиты. На рынке присутствуют специализированные пакеты, разработчики которых обещают эффективную защиту от одного или нескольких типов угроз. К сожалению, использование даже самого лучшего пакета программ не заменит необходимости следовать правилам элементарной цифровой гигиены – тем самым правилам, которые и были изложены в этой статье.