ReflectivePrompt: использование рефлексивной эволюции в алгоритмах автопромптинга

Журавлев В.Н., Хайруллин А.Р., Дягин Э.А., Ситкина А.Н., Кулин Н.И. ReflectivePrompt: использование рефлексивной эволюции в алгоритмах автопромптинга // Научно-технический вестник информационных технологий, механики и оптики. 2025. Т. 25, № 6. С. 1134–1141 (на англ. яз.). doi: 10.17586/2226-1494-2025-25-6-1134-1141

Автопромптинг — процесс автоматического подбора оптимизированных промптов к языковым моделям, который набирает свою популярность с быстрым развитием промпт-инжиниринга, обусловленного многочисленными исследованиями в области больших языковых моделей. В работе представлен ReflectivePrompt — новый метод автопромптинга на основе эволюционных алгоритмов, использующий подход рефлексивной эволюции для более точного и расширенного поиска оптимальных промптов. ReflectivePrompt использует операции краткосрочной и долгосрочной рефлексии перед операциями скрещивания и элитарной мутации для повышения качества проводимых ими изменений. Предложенный метод позволяет накапливать знания, полученные на протяжении всей эволюции, и обновлять их на каждой эпохе исходя из текущей популяции. ReflectivePrompt был протестирован на 33 наборах данных по задачам классификации и генерации текста с использованием больших языковых моделей с открытым доступом: T-lite-instruct-0.1, Gemma3-27b-it. Представленный метод продемонстрировал значительное увеличение (например, 28 % в среднем на бенчмарке Big-Bench-Hard относительно EvoPrompt) по метрикам в сравнении с известными методами в данной области, тем самым показал себя одним из самых эффективных вариантов в рамках автопромптинга на основе эволюционных алгоритмов.

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License