Анализ паролей Gawker

Автор: SinThet
Email:
 Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
 
Website: http://sinthet.wordpress.com/

Вряд ли тайна для широкой публики и для всех и каждого, кто хотя бы отдаленно связан с безопасностью или сценой, что группа, известная как Gnosis опубликовала около 200 тысяч пользовательских имен, электронных ящиков и расшифрованных паролей из украденной базы данных принадлежащей Gawker (крупный новостной сайт/блог) в конце 2010 года. Для любопытных "хакеров" это как ранний рождественский подарок. Он содержит ценную информацию о том, как люди относятся к безопасности, и насколько они ценят ее. Это обеспечивает еще одно представление о том, насколько слабая политика безопасности в крупных компаниях. Это позволяет нам сделать гипотезы о психологии паролей.

Я покажу свои результаты и надеюсь вы найдете их информативными и хоть как то интересными.

Disclaimer: Я не профессионал. Я старшеклассник, который любит учиться в процессе. Я делаю это не потому, что хочу сделать открытие в чем нибудь, а потому, что это интересно. Надеюсь, когда это будет читать кто-то кто умнее меня, он скажет мне, что я упустил.

Я понимаю, большинство из этих паролей не особенно безопасны; однако, я считаю, шаблоны обнаруженные здесь повторяются в других паролях, возможно, более ловко замаскированы, но присутствуют тем не менее.

Node: Я буду давать ссылки на полную статистику, которую я рассчитывал, как и исходный код программы, используемая для расчета статистики.

Анализ утечки + взломанные пароли.

В этом разделе я представлю некоторую статистику, урезанную версию моих полных результатов.

Во-первых, начнем с частотного анализа алфавита.

НАИБОЛЕЕ ОБЩИЕ ХАРАКТЕРИСТИКИ В ОПУБЛИКОВАННЫХ ПАРОЛЯХ

a: 8.4%
e: 7.99%
o: 5.89%
r: 5.61%
s: 5.48%
i: 5.21%
n: 5.15%
1: 4.48%

Давайте сравним это с наиболее распространенными буквами в английском языке.

E 12.51%
T 9.25%
A 8.04%
O 7.60%
I 7.26%
N 7.09%
S 6.54%
R 6.12%

Мы используем первые 8 наиболее распространенных. DES шифрования шифрует только первые 8 символов. Итак, если ваш пароль "123456789", в результате хэш может быть "abcdefgh". Это означает, что набрав "12345678" даст вам доступ такой же, как и "123456789", так как алгоритм хеширования не признает существования девятого (и всех последующих) символа.

Буквы "a,e,o,r,s,i,n" появятся в обоих списках. Более того, порядок их что-то напоминает. Исходя из этого, разумным выводом будет, что большенство паролей это нормальные английские слова (не удивительно). Наличие цифры 1 в таких высоких процентах (следующий процент за цифрой 2, примерно 2,2%), особенно полезно. Мы можем догадаться, что люди использующие английские слова, в определенный момент сталкивается с сообщение "Ваш пароль должен содержать как минимум одну цифру" при регистрации на сайте. Если бы вы были нервный человек, пытающийся быстро пройти регистрацию, то добавление одной цифры в конце (или начале) является для вас быстрое и легкое решение. Цифру 1, большинство людей видят в качестве "первого" число, вероятно, из-за этого такая популярность выбора. Кроме того, 1 это начало множества последовательностей. Так же число 1 часто используется в качестве замены буквы "I". Эти свойства отличают цифру 1 от большинства других символов.

Теперь давайте взглянем на наиболее распространенные пароли.

НАИБОЛЕЕ ОБЩИЕ ПАРОЛИ В ОПУБЛИКОВАННОЙ БАЗЕ GAWKER

1: 123456: 3057: 1.64% всех паролей.
2: password: 1955: 1.036% всех паролей.
3: 12345678: 1119 : 0.5% всех паролей.
4: lifehack: 661: 0.35% всех паролей.
5: qwerty: 418: 0.22% всех паролей.
6: abc123: 333: 0.17% всех паролей.
7: 111111: 311: 0.16% всех паролей.
8: monkey: 300: 0.16% всех паролей.
9: consumer: 273 : 0.14% всех паролей.
10: 12345: 253: 0.14% всех паролей.

Во-первых, воспользуйтесь моментом, чтобы схватить ведро и наблевать от этих результатов. Далее мы должны сообщить что цифра 1 является очень распространенным явлением. В самом деле, на цифру 1 приходится 15,6% из всех символов в первой десятке наиболее часто используемых паролей. Она содержится в пределах 50% от всего списка наиболее распространенных паролей. Ее значение, как "первый" в последовательности усиливается. 6 из 10 лучших паролей это последовательности, 5 из них содержит цифру один, и 4 из них начинаются с нее (лишний это комбо из двух последовательностей, ABC и 123).

Давайте посмотрим на другие 4 слова: password, lifehack, monkey, consumer. "password" почти всегда будет придуман как пароль. Люди, которые пользуются им не ценят важность безопасности, когда они вынуждены изменить его, то они попадают в категорию "добавим ка цифру в конце" и не более того. К сожалению, мы никогда не будем знать, сколько это сделали, так как "password" составляет 8 символов. Чертов DES, ты хуевый для обеспечения безопасности и анализа. "lifehack" и "consumer" не особенно удивительно, так как они оба связаны с сайтом. Это интересный шаблон все же. Он предполагает, что этот человек, вероятно, пользуется разными паролями (небольшой вздох облегчения для безопасности) и пытается их запомнить, связав их с каждым сайтом. Это может быть хорошо для целевых атак, но почти бесполезны для аккаунтов (кража учетных данных со слабых форумов в надежде, что кто-то использует тот же пароль на PayPal). Тем не менее, если вы ориентируетесь на одного человека этот вид деятельности предполагает, что вы можете просто угадать их паролей на основе вида и типа сайта.

Пароль "monkey" однако, отличается. Обезьяна появляется 554 раза, 300 из которых она стоит отдельно. Впрочем, эти 254 раза, кажется, просто дополнены чем нибудь другим, ровно настолько, чтобы вытеснять "12345" из топ10 наиболее распространенных паролей. Процент (~ 0,14% всех паролей) может показаться небольшой, но 254 аккаунта довольно значительное количество. Так как эти пароли содержат как буквы так и цифры, их владельцы могут считать их более безопасными, и поэтому более вероятно использование их для нескольких логинов. Очевидно, именно это повышает их количество.

Теперь, давайте начнем сравнение опубликованных паролей со списком "общих паролей" и посмотрим.

Топ10 паролей которые находятся в списке общих паролей

1: 123456: 3057: 1.62% всех паролей.
2: password: 1955: 1.038% всех паролей.
3: 12345678: 1119: 0.59% всех паролей.
4: qwerty: 418: 0.22% всех паролей.
5: abc123: 333: 0.17% всех паролей.
6: 111111: 311: 0.17% всех паролей.
7: monkey: 300: 0.16% всех паролей.
8: letmein: 247: 0.13% всех паролей.
9: dragon: 233: 0.11% всех паролей.
10: baseball 213: 0.11% всех паролей.

Существует высокий уровень совпадений между двумя группами. Исключением из правила являются "lifehack", "consumer" и "12345". "12345" больше нет, вероятно, потому что список слов предполагает более длинные пароли. Тем не менее, отсутствие двух часто встречающихся паролей говорит, что наше предположение о том что пароль зависит от вида и типа сайта является важным, оно может увеличить наш выигрыш на 934 аккаунта. Это особенно удобно в данном случае, потому что нам даже не придется беспокоиться о умных людях, которые добавили бред в конце пароля --> fail DES.

Ради любопытства: 79% паролей, содержащихся в "общем" списке появились в опубликованной базе. Остальные 1805 уникальных пароля составили 22% от утечки в 188281 пароля. Итак, примерно один из 5 учетных записей может быть взломан с использованием списка, который содержит чуть более 2200 паролей. Это довольно печальное положение дел, учитывая размер списка-словаря, для этого бы понадобился полу-современный процессор.

Теперь двигаемся дальше, мы должны взглянуть на первые буквы и цифры.

[6 of B]

Наиболее частые первые буквы:

s: 19765: 10.5%
m: 15322: 8.14%
b: 14029: 7.45%

Наиболее частые первые цифры:

1: 14970: 7.95%
2: 2171: 1.15%
4: 1037: 0.55%

Тот факт, что 1 появится еще раз очень важно, особенно с таким большим процентом. А вот "s", "m" и "b" может и не являются особенно полезными.

Так как первые символы могут помочь нам оптимизировать наши поиски, это вполне логично, что мы должны проанализировать также последний символ.

Наиболее частые последние буквы:

e: 15948 : 8.47%
n: 13639 : 7.24%
s: 12683 : 6.74%

Наиболее частые последние цифры:

1:15854 :  8.42%
2:7176  :  3.811
3:7143  :  3.79%

Опять же, мы можем научится чему то из этих статистических данных. Наиболее распространенные символы окончания хорошо соответствуют с английским языком. Поэтому, если слово начинается с одной из лучших "первых букв" и заканчивается одной из лучших "последних букв", мы вероятно сделаем предположение, что пароль на самом деле, слово из английского языка.

"Последние номера" также говорят нам некоторые важные вещи. Если пароль заканчивается на 1, и начинается с буквы (особенно одна из частых букв), есть хороший шанс, что это один из наших "добавим ка цифру в конце" пароли.

Вывод

В целом, эти результаты свидетельствуют о довольно бедной общей культуры безопасности. Можно подумать, что пользователи Gawker были бы чуть более защищенные если бы знали как выбрать более сложный пароль. Вместо этого 1/5 часть аккаунтов может быть взломана использованием словаря, содержащий первые 2000 наименее безопасных пароля. Шаблоны взломаных паролей позволяют предположить, что ситуация может быть увеличена до 1/4, если их добавить к стандартному словарю брутфорса.

К сожалению, эти результаты не полные, что удивительно, если мы посмотрим на Интернет в целом. Если какие-либо шаблоны или наблюдения в этой статье, относятся к любому из ваших паролей, пожалуйста, выберите более безопасный пароль или по крайней мере используйте разные пароли для разных сайтов. Если конечно вам нравится быть взломаными, что и случится с вами в конце концов, то продолжайте использовать слабые пароли. Это всего лишь вопрос времени, поэтому, пожалуйста, помогите себе и способствуйте повышению безопасности Интернета в общем.

Спасибо за чтение! Если вы хотели бы копию моего рабочего каталога, который содержит эту статью, мои заметки, исходный код, общий список паролей, список паролей Gawker и некоторые файлы это доступно на sinthet.wordpress.com

Все эти статистические данные были рассчитаны программой, написанной на языке Python 2.7.1.

Код доступен на http://box.net/shared/nzlba6trs329u4kry0lg