Аннотация
Аспектно-ориентированный анализ сентиментов (ABSA) стал мощным инструментом для получения практических выводов из качественной обратной связи в образовании. В данном исследовании представлена многозадачная обучающая структура для анализа оценок преподавания студентами (SET) путем извлечения и классификации мнений по конкретным аспектам педагогической деятельности. Используя новый и первый открытый набор данных из 6 025 комментариев на испанском языке, предложенная структура интегрирует сегментацию мнений и многометочную классификацию для получения точной обратной связи по девяти предопределенным аспектам, таким как "Качество преподавания" и "Атмосфера в классе".
Применение данного подхода выходит за рамки анализа SET, предлагая ценные идеи для улучшения курсов, оценки преподавательского состава и принятия институциональных решений в высшем образовании. В статье сравнивается производительность дообученных трансформеров (BERT и RoBERTa) с крупными языковыми моделями (LLMs), включая GPT-4o, GPT4o-mini и LLama-3.1-8B, с использованием как дообученных, так и Few-shot Chain of Thought (CoT) методологий. Результаты оценки показывают, что дообученный GPT-4o превзошел все другие модели, достигнув взвешенной F1-метрики 0,69 для положительных аспектов и 0,79 для отрицательных аспектов, в то время как подходы Few-shot CoT продемонстрировали конкурентные результаты с большей масштабируемостью и интерпретируемостью.
Наши результаты демонстрируют потенциал предложенной структуры по преобразованию неструктурированной обратной связи в структурированные выводы, помогая преподавателям и образовательным учреждениям повышать качество преподавания и вовлеченность студентов.
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.