В областта на сигурността имаме тази идея за офанзивна сигурност. Това означава да изграждаме злонамерени способности преди нападателите, за да можем да се научим да се защитаваме срещу тях. И всъщност, на NIPS Workshop on Machine Deception, моят съавтор и аз върнахме идеята за „използване на машинно обучение за фишинг“ обратно към общността за машинно обучение. Ние показахме, че всъщност е много лесно за атакуващите да използват машинно обучение, за да увеличат драстично честотата на кликване на фишинг връзките - вероятно до 66%.
Комбинирането на ефективността на фишинг и автоматизирането на обикновения фишинг е възможно с помощта на генеративни модели и функции от профили в социалните медии. Има много начини да направите това, но реализацията, която демонстрирахме, е разделена на два компонента: компонент за машинно обучение за откриване дали е (малко) вероятно даден потребител да кликне върху връзка и друг компонент за машинно обучение за генериране на текст, насочен специално за този потребител.
Тъй като нямаме етикетирани данни за потребителите за това върху какви връзки кликват, трябва да използваме неконтролирана техника за измерване на ангажираността на потребителя. Ние вземаме характеристики от потребителския профил: дали е променил настройките по подразбиране, брой последователи и публикации, думи от неговата биография и т.н.
Ние преобразуваме всеки потребител във вектор в матрица въз основа на тези характеристики и обучаваме модели без надзор да групират потребителите. От нашите тествани методи, K-Means се представи най-добре въз основа на Silhouette score с разумна структура (0,5–0,7 коефициент на силует).
За да генерираме текст, сравняваме два различни метода. Моделите на Марков са прости: те изчисляват вероятността за съвместна поява на термини в учебния корпус и генерират нови термини въз основа на тези вероятности. И така, в примера по-долу, нова публикация, започваща с думата „аз“, има 62% шанс да бъде последвана от думата „харесвам“ и 38% шанс да бъде последвана от думата „не“. Моделите на Марков могат да работят сравнително добре, дори когато са обучени на малки набори от данни (което ги прави идеални за обучение директно върху времевата линия на потребителя!), но имат проблеми с поддържането на състоянието в цялото генерирано съобщение.
За разлика от това, повтарящите се невронни мрежи (RNN) са страхотни в запомнянето на случилото се по-рано в изречението, за сметка на по-сложния модел. Използваме конкретен тип RNN, наречена мрежа с дългосрочна памет (LSTM). На всяка времева стъпка LSTM ще:
- Забравете старата информация от скритото състояние, която вече не е от значение,
- Актуализирайте скритото състояние с нова информация и
- Изведете число между -1 и 1 (Активиране).
Поради тази сложност са необходими повече проби за обучение; вместо това обучаваме модела на по-общ корпус и използваме тема, която потребителят често използва като семе.
Използвайки тези техники, увеличаването на честотата на кликване за злонамерена уеб страница е почти тривиално.
Ето един пример от „скорошни изследвания“, който показва реалистичните заплахи, за които ние като поле трябва да се подготвим, преди AI и машинното обучение да бъдат злоупотребени в мащаб. Атаките, използващи AI, вече започват да се забелязват в реалния свят: вижте „притесненията“ на стандартния софтуер, позволяващ на потребителите да заменят оригиналните обекти в снимки или видеоклипове с всеки, на когото имат снимки. Подготовката за такива атаки е от решаващо значение.
