Kinect for windows speech recognition что это

Windows предоставляет функцию распознавания речи на основе устройств (доступную как с помощью приложения Windows Recech Recognition Desktop), так и с помощью облачной службой распознавания речи на тех рынках и регионах, где доступна Cortana. Microsoft может использовать голосовые данные, взаимодействия с компьютером, чтобы улучшить услуги распознавания речи.

Чтобы использовать распознавание речи, необходимо включить параметр «Знакомство с вами» (параметр конфиденциальности в разделе «Персонализация рукописного ввода и ввода с клавиатуры»), поскольку голосовые службы существуют как в облаке, так и на вашем устройстве. Информация, которую Microsoft собирает с их помощью, позволяет их улучшить. Речевые службы, которые не передаются в облако и присутствуют только на вашем устройстве, такие как «Диктор» и «Распознавание речи Windows», по-прежнему будут работать, если этот параметр отключен, но Microsoft уже не будет собирать данные.

Если для параметра «Диагностика и использование данных» («Параметры» →  «Конфиденциальность» →  «Диагностика и отзывы») установлено значение «Полные», входящие данные для рукописного ввода и ввода текста отправляются в Microsoft, и компания использует эти данные в совокупности, чтобы улучшить платформу для всех пользователей.

Чтобы отключить распознавание голоса в Windows 10, выполните следующие действия.

1. Откройте приложение «Параметры».

1. Перейдите в раздел «Конфиденциальность» →  «Голосовые функции».

1. Справа отключите опцию «Распознавания голоса в сети» передвинув ползунок переключателя в положение «Откл.».

Картинка с сайта: g-ek.com

Теперь функция отключена.

Кроме того, вы можете применить настройки реестра.

Отключить распознавание речи в сети с помощью настройки реестра.

1. Загрузите следующий ZIP-архив: загрузите ZIP-архив.

1. Извлеките его содержимое в любую папку. Вы можете разместить файлы непосредственно на рабочем столе.

1. Дважды кликните файл Off-Online Recognition.reg, чтобы начать процесс слияния.

Чтобы отменить изменение при необходимости, используйте файл On-Online Speech Recognition.reg.

Все!

Файлы реестра, выше, изменяют ветвь реестра

HKEY_CURRENT_USER\Software\Microsoft\Speech_OneCore\Settings\OnlineSpeechPrivacy

Они изменяют параметр DWORD (32 бита) с именем HasAccepted.

• HasAccepted = 1 — Включить распознавание речи в сети.
• HasAccepted = 0 — Функция распознавания речи отключена.

Кроме того, начиная с Windows 10 build 17063, ОС имеет ряд новых параметров в разделе «Конфиденциальность». К ним относятся возможность управления разрешениями на использование для ваших библиотек / папок,  микрофона ,  календаря , информации  учетной записи пользователя ,  файловой системы ,  местоположения ,  контактов ,  истории вызовов ,  электронной почты , обмена сообщениями и т. Д.

Наконец, вы можете отключить распознавание речи в сети на странице конфиденциальности программы установки Windows во время установки ОС с нуля.

• Kinect for Windows SDK. Часть 1. Сенсор
• Kinect for Windows SDK. Часть 2. Потоки данных
• Kinect for Windows SDK. Часть 3. Функциональные возможности
• Играем в кубики с Kinect
• [Программа, апорт!]

В прошлой статье я затронул тему работы с Microsoft Kinect for Windows и продемонстрировал возможности сенсора на примере игры в кубики. Напомню, что трекинг человеческой фигуры (skeleton tracking) не единственная возможность сенсора, и сегодня мне бы хотелось рассказать о распознавании речи.

Для знакомства с Microsoft Speech Platform мы напишем простое приложение, в котором произвольный объект (например, танчик) будет перемещаться по плоскости. Я не стал добавлять голосовые команды в предыдущий пример по двум причинам. Во-первых, хронологически этот пример появился раньше. А, во-вторых, хотелось сконцентрироваться в каждом примере на отдельной функциональности (такой код проще изучать).

Определим, какие пакеты пригодятся нам:

• Microsoft Speech Platform — SDK. Необходимый пакет. Это платформа и инструментарий для начала работы с распознаванием речи.
• Microsoft Speech Platform — Runtime Languages. Опциональный пакет. По умолчанию, в SDK входит только библиотека для распознавания английской речи. Вы можете скачать дополнительные библиотеки для работы с другими языками.
• Microsoft Kinect for Windows — SDK. Опциональный пакет.

Открою страшную тайну, наличие сенсора не является обязательным условием для возможности распознавания речи. Speech Platform развивается независимо от Kinect, но в тоже время в Kinect SDK вы обязательно найдете примеры с реализацией распознавания речи. Наш пример будет работать как с сенсором, так и с обычным микрофоном.

В первую очередь необходимо понимать, что же собственно программировать. Последовательность действий чрезвычайно проста:

1. выбрать обработчик (engine) распознавания из доступных в системе для требуемого языка;
2. создать словарь команд и передать его в полученный обработчик;
3. установить для обработчика источник аудиосигнала. Это могут быть Kinect, микрофон, аудиофайл;
4. дать команду обработчику для начала распознавания.

Теперь в Visual Studio создадим новый проект WPF Application. Я буду писать на C#.

Начнем с того, что попытаемся найти подключенный сенсор. Класс KinectSensor предоставляет такую возможность с помощью свойства KinectSensors:

KinectSensor kinect = KinectSensor.KinectSensors
    .Where(s => s.Status == KinectStatus.Connected)
    .FirstOrDefault();

Обработчик распознавания речи – класс SpeechRecognitionEngine, его статический метод InstalledRecognizers() помогает получить информацию обо всех установленных в системе обработчиках.

RecognizerInfo info = SpeechRecognitionEngine.InstalledRecognizers()
    .Where(ri => string.Equals(ri.Culture.Name, "en-US", StringComparison.InvariantCultureIgnoreCase))
    .FirstOrDefault();

Нетрудно догадаться, что таким образом мы получаем информацию об обработчике распознавания английской речи (RecognizerInfo), если такой обработчик есть. Метод InstalledRecognizers не возвращает экземпляров обработчиков, а лишь информацию о них. Поэтому следующим шагом будет создание экземпляра обработчика. Просто передаем в конструктор идентификатор обработчика:

var sre = new SpeechRecognitionEngine(info.Id);

Теперь подумаем вот о чем. Нам нужно управлять объектом на плоскости. Какие команды подойду для этого? Думаю, что 4 команд достаточно: UP (вверх), DOWN (вниз), LEFT (влево), RIGHT (вправо). И для разнообразия можно добавить пятую команду EXIT (выход). Замечу, что я писал код для распознавания команд на английском языке, но вы можете выбрать любой другой из 54х доступных. Создаем словарь команд и загружаем его в обработчик распознавания.

var commands = new Choices();
commands.Add("up");
commands.Add("down");
commands.Add("left");
commands.Add("right");
commands.Add("exit");

var gb = new GrammarBuilder(commands) { Culture = info.Culture };
sre.LoadGrammar(new Grammar(gb));

В объекте типа Choices создается список слов (команд) для распознавания. Следующим шагом создается объект грамматики, связанный с культурой команд, и далее грамматика загружается в обработчика распознавания.

Каждое сказанное вами слово, обработчик сравнивает с шаблонами слов в грамматике, чтобы определить, не произнесли ли вы какую-нибудь команду. Но помните, что каждая попытка распознавания сопровождается некоторой вероятностью ошибки, чуть дальше вы увидите это на примере.

Теперь можно определить обработчики для событий распознавания речи. Для нас важно обработать событие SpeechRecognized возникающее, когда обработчик распознавания находит в словаре соответствие произнесенной команде. В объекте SpeechRecognizedEventArgs нам доступно свойство Result в котором можно найти: распознанное слово, величину вероятности того, что слово распознано правильно и многое другое. Два других события SpeechHypothesized и SpeechRecognitionRejected представляют интерес скорее для отладки, нежели для реального использования. Первое событие возникает, когда обработчик распознавания делает предположение распознавания. Второе,- когда обработчик распознавания может определить слово лишь с малой долей вероятности.

private void Sre_SpeechRecognized(object sender, SpeechRecognizedEventArgs e)
{
    // если вероятность распознавания больше 70%
    if (e.Result.Confidence >= 0.7) 
    {
        Action handler = null;
        switch (e.Result.Text.ToUpperInvariant())
        {
            case "UP":
            case "DOWN":
            case "LEFT":
            case "RIGHT":
                handler = () => { /* some actions */ };
                break;
            case "EXIT":
                handler = () => { this.Close(); };
                break;
            default:
                break;
        }

        if (handler != null)
        {
            // обработчик вызывается асинхронно, поэтому действия связанные с обновлением UI необходимо делать через диспетчер
            Dispatcher.BeginInvoke(handler, DispatcherPriority.Normal);
        }
    }
}

Нам осталось только установить источник аудиосигнала и начать распознавание. Здесь хочется отметить особенность Kinect. Аудиопоток готов для работы примерно через 4 секунды после инициализации. Это стоит учитывать и, например, создавать таймер, чтобы запускать распознавание с 4-х секундной задержкой.

Помните, я в начале говорил, что наш код будет работать как с Kinect так и с обычным микрофоном? Для того, чтобы это реализовать достаточно правильно установить источник аудиосигнала.

if (kinect != null)
{
    var audioSource = kinect.AudioSource;
    audioSource.BeamAngleMode = BeamAngleMode.Adaptive;
    var kinectStream = audioSource.Start();

    // захват с микрофонов Kinect
    sre.SetInputToAudioStream(kinectStream, new SpeechAudioFormatInfo(EncodingFormat.Pcm, 16000, 16, 1, 32000, 2, null));
}
else
{
    // будем захватывать аудиосигнал с микрофона установленного по умолчанию
    sre.SetInputToDefaultAudioDevice();
}
// начинаем распознавание. Параметр говорит обработчику распознавания не останавливаться после первой распознанной команды.
sre.RecognizeAsync(RecognizeMode.Multiple);

Что касается UI, то здесь все просто. Рисуем объект любой формы (это может быть даже картинка), я нарисовал танк.

И добавляем анимацию для перемещения. Конечно, чтобы не создавать комичных ситуаций, когда танк движется «боком», я добавил еще и анимацию для разворота в нужную сторону. Пример анимации для выполнения команды LEFT (налево):

<Storyboard x:Key="LEFT">
    <DoubleAnimationUsingKeyFrames Storyboard.TargetProperty="(UIElement.RenderTransform).(TransformGroup.Children)[2].(RotateTransform.Angle)" Storyboard.TargetName="PART_Tank">
        <EasingDoubleKeyFrame KeyTime="0:0:0.5" Value="-90"/>
    </DoubleAnimationUsingKeyFrames>
    <DoubleAnimation Storyboard.TargetProperty="(Canvas.Left)" Storyboard.TargetName="PART_Tank" Duration="0:0:1" By="-30"/>
</Storyboard>

Распознавание в действии:

Файлы исходного кода и скомпилированную версию вы найдете в конце статьи. Обратите внимание, что если вы запускаете скомпилированный пример без установленного Speech SDK, вам необходимо установить Microsoft Speech Platform Runtime и обработчик распознавания английского языка MSSpeech_SR_en-US_TELE.msi

Подводя итог скажу, что Microsoft Speech Platform действительно большой и интересный продукт, я коснулся лишь его малой части. Интересующимся я бы посоветовал посмотреть примеры работы с этой платформой в Kinect SDK, мне кажется это хорошая отправная точка.

В заключение хочется поблагодарить компанию VIAcode за предоставленный для экспериментов сенсор.

Сборка примера без Kinect
Сборка примера с Kinect
Исходный код примера

Online speech recognition is a feature in Windows 10/11 you can use your voice for dictation and to talk to Cortana and other apps that use Windows cloud-based speech recognition. Microsoft also uses your voice data to help improve its speech services.

Картинка с сайта: mefmobile.org

When online speed recognition is turned off, you won’t be able to speak to Cortana or use dictation. You will still be able to use the Windows Speech Recognition app and other speech services that do not depend on Windows cloud-based services.

But, if your Online speech recognition feature is greyed out, which means you can’t turn it on even if you want to, then it could be a bummer for many users who want to use their voice for dictation or want to use Cortana.

Картинка с сайта: mefmobile.org

How to Enable Online Speech Recognition Even if it is Greyed Out

In this fixing guide, I’ll show you all possible methods through which you can enable the Online speech recognition feature even if it is greyed out.

Fix 1: Enable Online Speech Recognition Using Group Policy Editor

In this method, we’ll use Windows Group Policy Editor to simply enable online Online speech recognition even if it is greyed out.

Note: Before starting, let me tell you that this method will only work for Windows 10/11 pro versions. This method won’t work if you have Windows 10/11 home edition, because Group Policy Editor is not available in these versions.

Step 1: Open the Run Command Window by pressing Windows+R.

Step 2: Type gpedit.msc and click OK.

Картинка с сайта: mefmobile.org

The Local Group Policy Editor window will appear.

Step 3: From the left-hand side, navigate to the following location:

Computer Configuration\Administrative Templates\Control Panel\Regional and Language Options\

Step 4: On the right-hand side, double-click on Allow users to enable online speech recognition services.

Картинка с сайта: mefmobile.org

A pop-up window will appear titled Allow users to enable online speech recognition services.

Step 5: Now, to Enable Online Speech recognition services, click on Enabled.

Картинка с сайта: mefmobile.org

Step 6: Click on Apply and then click on OK.

Fix 2: Enable Online Speech Recognition Using Registry Editor

In this method, we’ll use the Windows Registry Editor to edit the InputPersonilzation key to enable or disable Online speech recognition even if it is greyed out.

Note: It is advised to take a backup of the registry before proceeding because registry editing can harm the system even if a slight mistake happens. To take a backup, In the Registry Editor, click File > Export > Save your Backup file.

Step 1: Open the Run Command Window by pressing Windows+R.

Step 2: Type regedit and click OK.

Картинка с сайта: mefmobile.org

Step 3: In the Registry Editor window, in the search bar, copy-paste the following location:

\HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\InputPersonalization

Step 4: Now expand the Microsoft folder, and search for the InputPersonalization folder.

If you cannot see the InputPersonalization folder under the Microsoft folder then you can create one yourself. Right-click on the Microsoft folder. Click New > Key. Name the newly created key as InputPersonalization.

Картинка с сайта: mefmobile.org

Step 5: From the left-hand side, click on the InputPersonalization folder.

Step 6: On the right-hand side, right-click on an empty area and then click New > DWORD(32-bit)Value.

Картинка с сайта: mefmobile.org

Step 7: Name the newly created key as AllowInputPersonalization.

Step 8: Double-click on the AllowInputPersonalization key to modify its value.

Step 9: Now, to disable Online Speech Recognition, set the value to 0 and click OK.

Step 10: And, to enable Online Speech recognition, delete the Registry key AllowInputPersonalization you just created.

Картинка с сайта: mefmobile.org

Fix 3: Enable Online Speech Recognition During the Windows Setup

This won’t be the best option for the majority of the users because you guys must have your Windows installed already. However, when you install a fresh Windows 10/11, you get the Choose privacy settings for your device option. Here you can enable and disable many of the services for the system. Here, the first option is Online Speech Recognition, you can change the toggle to enable or disable it. This only appears one time during the Windows OS installation.

Картинка с сайта: mefmobile.org

Bottom Line

That’s it, I hope this article helped you in enabling the Online Speech Recognition feature. I’ve tried my best to discuss all the possible fixes to fix the problem.

In this article, we have discussed 3 major ways to fix this problem:

1. Using Group Policy Editor, where we used Windows Group Policy Editor to enable Online speech recognition.
2. Using Registry Editor, where we used the Windows Registry Editor to edit the InputPersonilzation key to enable or disable Online speech recognition.
3. During the Windows Setup, where we discussed how you enable this feature while installing Windows OS.

If this fixing guide was helpful for you in resolving your problem please consider sharing it with the needy ones in your circle. Also, comment below which one of the aforementioned fixes resolved the problem in your case.

Also Read:

• How to Fix if File Explorer Tabs are Not Showing in Windows 11
• Fix Desktop Window Manager High GPU Usage on Windows 11
• Fix Running scripts is disabled on this system Windows 11/10
• Fix “Could Not Create The Java Virtual Machine” on Windows 11, 10
• Ultimate Guide to Fix if WSL is Not Working on Windows 11/10
• 10 Ways to Fix Result Code: E_FAIL (0x80004005) Virtualbox Error
• Fix “Sysprep was not able to validate” Error on Windows 11/10
• Fix: 5GHz Hotspot not Showing or Working on Windows 11
• Fix: Network Profile Type missing on Windows 11
• How to Fix White Screen of Death on Windows 11 & 10