Сверхинтеллект в киберзащите: что правда, что мечта и как не обжечься

🛰️ Орбита

Академия Starbound · Киберзащита › Инженерия защиты · Для семей и взрослых · Около 7 минут

Мудрость — дар

«Ибо Господь дает мудрость; из уст Его — знание и разум».
— Притчи 2:6, Синодальный перевод ^{[5, 6]}

«Если же у кого из вас недостает мудрости, да просит у Бога, дающего всем просто и без упреков, — и дастся ему».
— Иакова 1:5, Синодальный перевод ^{[7, 8]}

Машины умеют считать быстро. Мудрость — решать, чему верить и что делать, — остаётся за людьми.

Сокращения раскрыты в словаре ниже. ИИ — искусственный интеллект.

1. Три ступени: узкий, общий, сверх

Узкий ИИ хорошо делает одну задачу: распознаёт речь, сортирует письма, ведёт чат. Это единственный вид ИИ, который существует сегодня; даже большие чат-боты относят к нему ^[9].
Общий ИИ (AGI) — гипотетическая система, способная освоить любую умственную задачу человека. Пока это цель исследований, а не продукт ^{[33, 9]}.
Сверхинтеллект (ASI) — гипотетический ИИ, намного умнее лучших людей почти во всех областях, включая науку и житейскую мудрость ^{[10, 11]}.

Честно: сверхинтеллект — это идея и предмет споров, а не то, что можно купить. Если кто-то продаёт «сверхинтеллектуальную защиту», это реклама.

2. Чем ИИ помогает защитникам уже сегодня

Разбор тревог. Систем защиты много, тревог ещё больше. ИИ помогает быстрее находить и сортировать атаки ^[12], а помощники для центров безопасности пишут краткие сводки по инцидентам ^{[15, 14]}.
Вредоносные программы и фишинг. ИИ помогает распознавать вредоносные письма и фишинговые кампании ^[12]. CISA использует классификацию с помощью ИИ при разборе образцов вредоносного кода ^[13].
Сводки журналов. Вместо тысяч строк журналов (логов) — короткий пересказ «что случилось», с которого человек начинает проверку ^{[15, 14]}.

3. Как ИИ используют злоумышленники

Фишинг на потоке. Преступники пишут ИИ гладкие, убедительные письма и сообщения — без привычных ошибок, по которым мы раньше узнавали обман ^{[16, 12]}. Британский NCSC почти уверен, что ИИ увеличит число и силу кибератак в ближайшие годы ^[12].
Поддельный голос. По короткой записи голоса можно сделать «клон» и позвонить родным с просьбой срочно прислать денег ^{[17, 16]}.
Помощь в подготовке. Google сообщает, что группы хакеров пытаются использовать чат-ботов для разведки и написания текстов, но пока в основном ради скорости, а не новых суперспособностей ^[18].

4. Три слова простыми словами

Веса — числа, которые модель выучила при обучении. Это и есть её «знания» ^[20].
Движок вывода (inference engine) — программа, которая берёт обученную модель и запускает её, чтобы получить ответ на ваш вопрос. Обучение — один раз и дорого; вывод — каждый раз, когда вы спрашиваете ^{[19, 20]}.
Квантование — хранить веса меньшим числом бит, например 4 бита вместо 16. Модель становится меньше и быстрее, но может чуть потерять в точности ^{[21, 22, 20]}. Так большую модель можно дообучать даже на одной видеокарте (GPU) ^[23].

16 бит

4 бита

Один и тот же вес: в 16 битах и в 4 битах. Место — в 4 раза меньше, точность чуть ниже.

5. Словарь сокращений

AI (Artificial Intelligence; искусственный интеллект (ИИ)): компьютерные системы, которые решают задачи, обычно связанные с человеческим мышлением, например распознают речь или текст ^[9]
ML (Machine Learning; машинное обучение): ИИ, который учится закономерностям на примерах, а не по правилам, написанным вручную ^[20]
LLM (Large Language Model; большая языковая модель): модель машинного обучения, обученная на огромном объёме текста предсказывать и порождать текст; на них построены чат-боты ^{[27, 20]}
NLP (Natural Language Processing; обработка естественного языка): область, которая учит компьютеры читать, понимать и порождать человеческую речь ^[32]
GPU (Graphics Processing Unit; графический процессор): чип с множеством маленьких ядер; сначала для графики, теперь главная «рабочая лошадка» для обучения и запуска ИИ ^{[20, 28]}
NPU (Neural Processing Unit; нейронный процессор): чип, созданный специально для вычислений ИИ; часто встроен в телефоны и ноутбуки и экономит заряд ^[28]
RAG (Retrieval-Augmented Generation; генерация, дополненная поиском): модель сначала находит подходящие документы, потом отвечает по ним, поэтому ответ свежее и его можно проверить ^{[29, 20]}
RLHF (Reinforcement Learning from Human Feedback; обучение с подкреплением на основе отзывов людей): люди оценивают ответы модели, и модель подстраивают к тем ответам, которые людям понравились больше ^{[30, 20]}
API (Application Programming Interface; программный интерфейс приложения): договорённый способ, которым одна программа просит другую о чём-то, например отправляет вопрос ИИ-сервису ^[20]
AGI (Artificial General Intelligence; общий искусственный интеллект): гипотетический ИИ, который мог бы освоить любую умственную задачу, доступную человеку; такого пока нет ^{[33, 9]}
ASI (Artificial Superintelligence; искусственный сверхинтеллект): гипотетический ИИ, намного превосходящий лучшие человеческие умы почти во всех областях ^{[10, 11]}
Токен: маленький кусочек текста (слово или часть слова), который языковая модель читает и пишет ^[20]
Контекстное окно: сколько токенов модель видит за один раз; текст за его пределами модель «не видит» ^{[31, 20]}
MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems; ландшафт угроз для систем ИИ): открытый каталог реальных техник атак на системы ИИ; ведёт некоммерческая организация MITRE ^{[25, 26]}
NIST AI RMF (NIST Artificial Intelligence Risk Management Framework; рамочная модель управления рисками ИИ от NIST (Национальный институт стандартов и технологий США)): добровольное руководство США (январь 2023) о том, как находить и снижать риски систем ИИ ^[24]

6. Правила безопасности

Проверяй, прежде чем верить. ИИ может уверенно ошибаться. Важное сверяй с первоисточником ^[24].
Никаких секретов в чат-боте. Пароли, коды, номера карт и документы туда не вставляй.
Последнее слово — за человеком. ИИ советует, решает человек ^[24].
Голос просит денег? Перезвони сам по номеру, который знаешь ^[17].

Источники

С заботой, команда Starbound

Superintelligence in cyber defense: what’s real, what’s a dream, and how to stay safe

🛰️ Orbit

Starbound Academy · Cyber Defense › Defense engineering · For families & adults · About 7 minutes

Wisdom is a gift

“For the LORD giveth wisdom: out of his mouth cometh knowledge and understanding.”
— Proverbs 2:6, King James Version ^{[1, 2]}

“If any of you lack wisdom, let him ask of God, that giveth to all men liberally, and upbraideth not; and it shall be given him.”
— James 1:5, King James Version ^{[3, 4]}

Machines can count fast. Wisdom, deciding what to trust and what to do, stays with people.

Acronyms are spelled out in the glossary below. AI means Artificial Intelligence.

1. Three steps: narrow, general, super

Narrow AI does one job well: recognize speech, sort email, chat. It is the only kind of AI that exists today; even big chatbots count as narrow ^[9].
General AI (AGI) is a hypothetical system that could learn any intellectual task a person can. It is a research goal, not a product ^{[33, 9]}.
Superintelligence (ASI) is a hypothetical AI much smarter than the best humans in nearly every field, including science and everyday wisdom ^{[10, 11]}.

Honestly: superintelligence is an idea under debate, not something you can buy. If someone sells “superintelligent protection”, that’s marketing.

2. How AI helps defenders today

Alert triage. Security tools raise far more alerts than people can read. AI helps detect and sort attacks faster ^[12], and security assistants write short incident summaries ^{[15, 14]}.
Malware and phishing. AI helps spot malicious emails and phishing campaigns ^[12]. CISA uses AI classification when analyzing malicious code samples ^[13].
Log summaries. Instead of thousands of log lines, a short “what happened” that a person then checks ^{[15, 14]}.

3. How attackers misuse AI

Phishing at scale. Criminals use AI to write smooth, believable messages, without the typos that used to give scams away ^{[16, 12]}. The UK’s NCSC judges AI will almost certainly raise the volume and impact of cyber attacks in the near term ^[12].
Deepfake voice. A short voice clip is enough to “clone” a voice and call relatives asking for money, fast ^{[17, 16]}.
Help with prep work. Google reports hacking groups trying chatbots for research and writing, mostly to go faster, not for new superpowers ^[18].

4. Three words in plain English

Weights are the numbers a model learned during training. They are its “knowledge” ^[20].
Inference engine: the program that runs a trained model to get an answer to your question. Training happens once and costs a lot; inference happens every time you ask ^{[19, 20]}.
Quantization: storing weights with fewer bits, for example 4 instead of 16. The model gets smaller and faster, at some cost in accuracy ^{[21, 22, 20]}. That is how a big model can even be fine-tuned on a single graphics card (GPU) ^[23].

16-bit

4-bit

The same weight stored in 16 bits and in 4 bits: a quarter of the space, slightly less precise.

5. Acronym glossary

AI (Artificial Intelligence): computer systems that do tasks we link with human thinking, such as recognizing speech or text ^[9]
ML (Machine Learning): AI that learns patterns from examples instead of following hand-written rules ^[20]
LLM (Large Language Model): an ML model trained on huge amounts of text to predict and generate language; chatbots are built on them ^{[27, 20]}
NLP (Natural Language Processing): the field that helps computers read, understand and produce human language ^[32]
GPU (Graphics Processing Unit): a chip with many small cores; first built for graphics, now the workhorse for training and running AI ^{[20, 28]}
NPU (Neural Processing Unit): a chip designed just for AI math, often built into phones and laptops to save power ^[28]
RAG (Retrieval-Augmented Generation): the model first looks up relevant documents, then answers using them, so answers can be fresher and checkable ^{[29, 20]}
RLHF (Reinforcement Learning from Human Feedback): people rate the model’s answers and the model is tuned toward the answers people preferred ^{[30, 20]}
API (Application Programming Interface): a defined way for one program to ask another for something, for example to send a question to an AI service ^[20]
AGI (Artificial General Intelligence): a hypothetical AI that could learn and do any intellectual task a person can; it does not exist yet ^{[33, 9]}
ASI (Artificial Superintelligence): a hypothetical AI far beyond the best human minds in almost every field ^{[10, 11]}
Token: a small chunk of text (a word or part of a word) that a language model reads and writes ^[20]
Context window: how many tokens a model can look at at once; text beyond it is not “seen” ^{[31, 20]}
MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems): a public catalog, run by the non-profit MITRE, of real attack techniques against AI systems ^{[25, 26]}
NIST AI RMF (NIST Artificial Intelligence Risk Management Framework): voluntary US guidance (January 2023) for spotting and managing risks of AI systems ^[24]

6. Safety rules

Verify before you trust. AI can be confidently wrong. Check important answers against the original source ^[24].
Never paste secrets into chatbots. No passwords, codes, card numbers or documents.
A human makes the final decision. AI advises; people decide ^[24].
A voice asks for money? Call back on a number you already know ^[17].

Sources

With care, the Starbound team

Сверхинтеллект в киберзащите: что правда, что мечта и как не обжечься

Мудрость — дар

1. Три ступени: узкий, общий, сверх

2. Чем ИИ помогает защитникам уже сегодня

3. Как ИИ используют злоумышленники

4. Три слова простыми словами

5. Словарь сокращений

6. Правила безопасности

Смотрите также

Источники

Superintelligence in cyber defense: what’s real, what’s a dream, and how to stay safe

Wisdom is a gift

1. Three steps: narrow, general, super

2. How AI helps defenders today

3. How attackers misuse AI

4. Three words in plain English

5. Acronym glossary

6. Safety rules

See also

Sources