Нейросети в законе

Нейронные сети всё активнее приходят в профессиональную деятельность самых разных специальностей. Искусственный интеллект научился решать простые задачи в программировании, инжиниринге, дизайне, копирайтинге, маркетинге. Не стала исключением юриспруденция. Понятно, что разбирать сложный многомиллионный спор двух хозяйствующих субъектов нейронке никто не доверит, а вот работать с типовыми запросами и документами она может запросто.

Показателен пример Сбербанка, который ещё в 2016 году сократил юридический департамент на 450 специалистов. Их заменил помощник GigaLegal на основе ИИ, который может работать с юридической документацией, российским законодательством и данными судебной практики. В основном он занимается составлением исковых заявлений по случаям, не требующим высокой квалификации.

Цифровые-юристы выходят на арену

Однако почти за десятилетие синтетический разум сделал существенный скачок вперёд, показав впечатляющие результаты по своим когнитивным способностям. Как же теперь обстоят дела у наших искусственных друзей с юридической грамотностью? В этом вопросе решил разобраться юрист Андрей Стуколов, который провёл исследование способностей ИИ ориентироваться в уголовно-процессуальном законодательстве и выложил результаты у себя в Телеграм-канале.

Для тестирования популярных LLM-моделей автор выбрал тему разграничения обыска, осмотра места происшествия и оперативно-розыскного мероприятия «обследование помещений, зданий, сооружений, участков местности и транспортных средств». Порядок проведения данных мероприятий имеет множество нюансов, их детальное разграничение требует узкоспециализированных познаний и может вызывать сложности даже у опытных юристов.

Был подготовлен единый запрос с 10-ю вопросами о различиях между вышеуказанными процессуальными действиями. Каждый вопрос разбит на три аспекта, так что всего получилось 30 критериев оценки. Каждая модель получила только одну попытку ответить, без уточняющих вопросов и диалога.

Тестировались популярные модели ИИ: ChatGPT (версии 1о и 4о), Claude (версии 3.5 Sonnet и Opus), Scholar GPT, Yandex GPT, GigaChat, Deepseek, Gemini 2.0 Flash, Perplexity.

Решает алгоритм и актуальные базы

В результате на финиш вышла следующая тройка лидеров (в скобках указан процент правильных ответов):

1. Claude 3.5 Sonnet (78,3%)
2. ChatGPT 4o (76,7%)
3. Scholar GPT (61,7%)

Однако практически все современные нейронки предусматривают возможность подгружения дополнительных справочных документов. Если в качестве таковых использовать базу актуальных нормативно-правовых актов, то «искусственные юристы» существенно прибавляют в сообразительности:

1. Claude 3.5 Sonnet (91,7%)
2. ChatGPT 4o (90,7%)
3. Scholar GPT (83,3%)

Недавно широко рекламировавшийся в российских СМИ китайский интеллект Deepseek R1 занял 4 позицию с показателями в 63,3% и 83,3% (соответственно, без загрузки базы НПА и при наличии таковой).

Две российские нейронки хоть и оказались ближе к концу списка, но также показали способность находить верные ответы.

Получше выглядела YandexGPT 4 Pro (8 место), которая правильно ответила на 65% вопросов, однако, не содержит возможности подключения дополнительных документов.

А похуже – GigaChat от Сбербанка (10 место), с немного парадоксальным результатом в 58,3% на исходном движке и 46,7% с добавлением НПА. То есть, добавление актуальной законодательной базы почему-то делает эту нейросеть не умнее, а глупее.

Исследователь пишет, что был особенно впечатлён работой Claude 3.5 Sonnet. Она не допустила ни одной серьёзной ошибки и корректно ссылалась на правовые нормы при обосновании каждого аспекта процессуальных действий. Как пишет автор работы:

Учитывая ограничения методологии исследования и дискуссионность некоторых поставленных перед ИИ вопросов, результат работы Claude 3.5 Sonnet можно считать превосходным. Модель в рамках исследования смогла сориентироваться в нормах права на высоком уровне и предоставила правильные ответы за считанные секунды.

Можно сделать вывод, что современные ИИ-модели способны эффективно анализировать процессуальное законодательство, давая точность ответов выше 90%. Было бы интересно протестировать на той же выборке вопросов «биологических юристов», чтобы сравнить результаты с искусственным разумом. Однако таких исследований автор, к сожалению, не проводит.

Перспективы применения

Для их максимальной эффективности важно правильно формулировать запросы, давать точные пользовательские инструкции по работе с источниками и формату ответов. Доступ ИИ к актуальным нормативно-правовым актам критически важен: точность ответов сильно повышается.

Отмечается, что доступ к интернет-поиску не привёл к значительному улучшению результатов. Несмотря на заданные инструкции по работе с источниками, модели в рамках поиска часто обращались к непрофильным ресурсам (статьям Дзен, ВК и так далее), что в итоге снижало качество их ответов. В итоге ИИ, конечно, не может заменить профессионального юриста, особенно с реальным опытом ведения дел, однако, способен являться вспомогательным инструментом в юридической практике.

При этом эффективность работы ИИ напрямую зависит от двух ключевых факторов: точности сформулированных пользователем запросов и инструкций, а также актуальности и полноты предоставленной нормативной базы. Существенным ограничением является то, что ИИ не всегда способен учитывать сложные контексты и специфические нюансы правоприменительной практики. При этом использование нейросетевых моделей в юридической сфере требует обязательной проверки всех полученных результатов квалифицированными специалистами перед их практическим применением.

Логичным шагом развития ИИ в юриспруденции была бы интеграция нейросетевых моделей и существующих баз данных НПА. Возможно, в этом направлении и будут развиваться профильные компании, такие как «Гарант» или «Консультант Плюс».

Искренне Ваш,
За-Строй.РФ

При полном и/или частичном копировании данного материала, для последующего размещения его на стороннем ресурсе, обратная, индексируемая ссылка на источник обязательна!