 |
 |
|||||||
|
МЕТОД ОЦЕНКИ КАЧЕСТВА МАШИННОГО ПЕРЕВОДА Винокуров А. А., Москва В данной работе рассматриваются основные положения разработанного автором метода оценки качества систем машинного перевода. Предлагается провести оценку системы машинного перевода, совместив оценку качества программного обеспечения и лингвистической характеристики.
На современном этапе развития информатизации различных областей науки специалистов-разработчиков и пользователей систем обработки текстовой информации на естественных языках интересует проблема разработки критериев оценки качества указанных систем. Традиционно оценку качества систем обработки текстовой информации необходимо проводить параметрам: качество программного обеспечения; удобство интерфейса пользователя; лингвистическая характеристика; организационное значение; ценовая эффективность. В данной работе предлагается провести оценку какой-либо системы, совместив оценку качества программного обеспечения (ПО) и лингвистической характеристики. Выбирается некоторая лексическая конструкция, которая на данном словарном наборе при оценке системы машинного перевода (СМП) выполняет корректно. Далее будем изменять словарный набор, и наблюдать за поведением системы. Используя приведенный ниже метод оценки качества программного обеспечения, мы сможем определить вероятность правильного перевода СМП данной лексической конструкции. Для генерации входных тестов мы используем методы лингвостатистики.[1] Изложим основные положения метода оценки качества СМП. В качестве модели программного обеспечения (модуля или программного комплекса) берется узловой управляющий граф. Каждому узлу графа ставится в соответствие логическая переменная, принимающая значение единица, когда при реализации программного элемента будет получен верный результат, в противном случае, логическая переменная примет значение ноль. Дуге управляющего графа ставится в соответствие своя логическая переменная. Эта переменная принимает значение единица только в случае, когда в процессе решения задачи реализуется данная передача управления. Ошибочные переходы могут осуществляться вседствие неперевода или неверного перевода каких-либо слов или конструкций. Необходимо определить, как это влияет на алгоритм работы системы и сформулировать вероятность неверного перевода и вероятностную степень алгоритмической защищенности СМП опытным путем. Управляющий граф далее рассматривается уже как структурно-надежностная схема алгоритма, и по ней записывается логическая функция, отражающая условия получения правильного результата. Замещая логические переменные вероятностными характеристиками, получаем вероятностный полином, устанавливающий аналитическую зависимость показателя надежности СМП с показателями ее элементов и вероятностями использования путей. Предлагаемая методика может быть применена, если программное обеспечение построено по модульному принципу, для него выполняется условие независимости вероятностных характеристик элементов и вероятности передачи управления между модулями могут быть представлены постоянными величинами, что вполне подходит для СМП. Литература
|
