Microsoft MVP성태의 닷넷 이야기
글쓴 사람
홈페이지
첨부 파일

C# - Windows 10 운영체제의 데스크톱 앱에서 TTS(SpeechSynthesizer) 사용하는 방법

예전에도 이야기했지만,

데스크톱 윈도우 응용 프로그램에서 UWP 라이브러리를 이용한 비디오 장치 열람하는 방법
; https://www.sysnet.pe.kr/2/0/11284

데스크톱 응용 프로그램에서도 UWP 앱에 제공되는 타입들을 사용할 수 있습니다. 이번에는 그중에서 TTS(Text-to-speech) 기능을 제공하는 SpeechSynthesizer 타입을 알아보겠습니다.

SpeechSynthesizer Class (Namespace: Windows.Media.SpeechSynthesis)
; https://docs.microsoft.com/en-us/uwp/api/windows.media.speechsynthesis.speechsynthesizer

* 최소 요구 사항: Windows 10(v10.0.10240.0)

이 타입을 사용하는 예제 코드는 마이크로소프트의 UWP 앱 샘플에서,

Speech recognition and synthesis sample
; https://github.com/Microsoft/Windows-universal-samples/tree/master/Samples/SpeechRecognitionAndSynthesis

Windows-universal-samples/Samples/SpeechRecognitionAndSynthesis/cs/
; https://github.com/Microsoft/Windows-universal-samples/tree/master/Samples/SpeechRecognitionAndSynthesis/cs

.\Samples\SpeechRecognitionAndSynthesis\cs\SpeechAndTTS.sln 솔루션 파일을 열어 테스트할 수 있습니다.




자, 그럼 사용해 볼까요? ^^

우선 SpeechSynthesizer 정의를 비롯해 UWP의 기본 타입들을 담고 있는 라이브러리를 먼저 참조해야 합니다. 원래 UWP 용으로는 다음과 같은 식의 경로에 있는 Windows.Foundation.UniversalApiContract.winmd 파일을 참조하는데,

C:\Program Files (x86)\Windows Kits\10\References\10.0.16299.0\Windows.Foundation.UniversalApiContract\5.0.0.0\Windows.Foundation.UniversalApiContract.winmd

데스크톱 응용 프로그램은 저 파일을 참조해서는 안되고 대신 다음의 파일 2개를 참조합니다.

C:\Program Files (x86)\Windows Kits\10\UnionMetadata\Windows.winmd
C:\Program Files (x86)\Reference Assemblies\Microsoft\Framework\.NETCore\v4.5\System.Runtime.WindowsRuntime.dll

그럼 소스 코드에서 다음과 같이 SpeechSynthesizer 클래스를 생성하고, 텍스트가 음성으로 바뀌어 출력될 Stream을 얻을 수 있습니다.

using System;
using System.IO;
using System.Linq;
using System.Windows;
using System.Windows.Controls;
using System.Windows.Media;
using Windows.ApplicationModel.Resources.Core;
using Windows.Media.SpeechSynthesis;

namespace Listener10
{
    public partial class MainWindow : Window
    {
        private SpeechSynthesizer synthesizer = new SpeechSynthesizer();

        public MainWindow()
        {
            InitializeComponent();

            Speak("test is good");
        }

        private async void Speak(string text)
        {
            if (!string.IsNullOrEmpty(text))
            {
                try
                {
                    SpeechSynthesisStream synthesisStream = await synthesizer.SynthesizeTextToStreamAsync(text);
                }
                catch (Exception e1)
                {
                    System.Diagnostics.Trace.WriteLine(e1.ToString());
                }
            }
        }
    }
}

문제는 여기서부터입니다. 음성이 출력될 synthesisStream을 재생해야 하는데 UWP 앱 예제에서는 이를 위해 (Windows.UI.Xaml.Controls.)MediaPlayerElement 타입을 사용합니다. 그래서 UWP 앱에서와 같이 WPF의 xaml에서 이를 추가하면,

<Grid>
    <MediaPlayerElement x:Name="media"/>
</Grid>

오류 선이 그어지면서 다음과 같은 메시지를 볼 수 있습니다.

MediaPlayerElement is not supported in a Windows Presentation Foundation (WPF) project.

또는 웹 상에서 검색하면 (Windows.UI.Xaml.Controls.)MediaElement 타입을 사용하는 예제를 볼 수 있는데,

<Grid>
    <MediaElement x:Name="media"/>
</Grid>

mediaElement.SetSource(stream, synthesisStream.ContentType);
mediaElement.Play();

역시 WPF에서는 사용할 수 없습니다. 문제는 UWP 앱의 컨트롤들이 WPF 구조와는 맞지 않기 때문인데 이러한 제약은 UI 컨트롤이 아니면 해당하지 않습니다. 따라서 (Windows.Media.Playback.)MediaPlayer 타입을 이용해 다음과 같이 직접 음성 출력을 해야 합니다.

Windows.Media.Playback.MediaPlayer mp = new Windows.Media.Playback.MediaPlayer();
mp.SetStreamSource(synthesisStream);
mp.Play();

또는 (System.Media.)SoundPlayer 타입을 이용해서도 가능합니다.

System.Media.SoundPlayer sp = new System.Media.SoundPlayer();
sp.Stream = = synthesisStream.AsStream();
sp.Play();




참고로 SSML 구문을 사용하면 보다 더 세밀한 음성 제어가 가능합니다. "Windows-universal-samples/Samples/SpeechRecognitionAndSynthesis/cs/" 예제에 보면 다음과 같은 SSML 텍스트가 리소스로 포함되어 있는데,

<speak version='1.0' xmlns='http://www.w3.org/2001/10/synthesis' 
                             xmlns:xsi='http://www.w3.org/2001/XMLSchema-instance' 
                             xsi:schemaLocation='http://www.w3.org/2001/10/synthesis  http://www.w3.org/TR/speech-synthesis/synthesis.xsd' 
                             xml:lang='en-US'>

<mark name='phonetic'/>This is an example of a phonetic pronunciation:
<phoneme alphabet='x-microsoft-ups' ph='S1 W AA T . CH AX . M AX . S2 K AA L . IH T'> whatchamacallit </phoneme>.

<mark name='date'/>This is an example of a date:
<say-as interpret-as='date' format='mdy'> 04/30/2013 </say-as>.

<mark name='number'/>This is an example of an ordinal number:
<say-as interpret-as='ordinal'> 4 </say-as>.
<mark name='end'/>
</speak>

보는 바와 같이 발음 기호, 날짜, 숫자를 인식하도록 출력을 제어할 수 있습니다. 이를 위해 SynthesizeTextToStreamAsync가 아닌 SynthesizeSsmlToStreamAsync 메서드를 이용해 출력해야 합니다.

SpeechSynthesisStream synthesisStream = await synthesizer.SynthesizeTextToStreamAsync(text);

Windows.Media.Playback.MediaPlayer mp = new Windows.Media.Playback.MediaPlayer();
mp.SetStreamSource(synthesisStream);
mp.Play();

정리해보면, 다음의 코드는 첨부 파일에 포함된 예제 프로젝트의 xaml, xaml.cs 내용입니다.

<Window x:Class="Listener10.MainWindow"
        xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation"
        xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml"
        xmlns:d="http://schemas.microsoft.com/expression/blend/2008"
        xmlns:mc="http://schemas.openxmlformats.org/markup-compatibility/2006"
        xmlns:local="clr-namespace:Listener10"
        mc:Ignorable="d"
        Title="MainWindow" Height="350" Width="525">
    <Grid>
        <ListBox x:Name="voiceList">
        </ListBox>
    </Grid>
</Window>

using System;
using System.IO;
using System.Linq;
using System.Windows;
using System.Windows.Controls;
using Windows.Media.SpeechSynthesis;

namespace Listener10
{
    public partial class MainWindow : Window
    {
        private SpeechSynthesizer _synthesizer = new SpeechSynthesizer();

        public MainWindow()
        {
            InitializeComponent();

            InitializeListboxVoiceChooser();

            Speak();
        }

        private async void Speak()
        {
            string text = "test is good";
            if (!string.IsNullOrEmpty(text))
            {
                try
                {
                    SpeechSynthesisStream synthesisStream = await _synthesizer.SynthesizeTextToStreamAsync(text);
                    // SpeechSynthesisStream synthesisStream = await synthesizer.SynthesizeSsmlToStreamAsync(Listener10.Properties.Resources.TTSText);

                    //Windows.Media.Playback.MediaPlayer mp = new Windows.Media.Playback.MediaPlayer();
                    //mp.SetStreamSource(synthesisStream);
                    //mp.Play();

                    System.Media.SoundPlayer sp = new System.Media.SoundPlayer();
                    sp.Stream = synthesisStream.AsStream();
                    sp.Play();
                }
                catch (Exception e)
                {
                    System.Diagnostics.Trace.WriteLine(e.ToString());
                }
            }
        }

        private void InitializeListboxVoiceChooser()
        {
            var voices = SpeechSynthesizer.AllVoices;

            VoiceInformation currentVoice = _synthesizer.Voice;

            foreach (VoiceInformation voice in voices.OrderBy(p => p.Language))
            {
                ListBoxItem item = new ListBoxItem();
                item.Content = voice.DisplayName + " (Language: " + voice.Language + ")";
                voiceList.Items.Add(item);

                if (currentVoice.Id == voice.Id)
                {
                    item.IsSelected = true;
                    voiceList.SelectedItem = item;
                }
            }
        }
    }
}




그럼 오류 유형을 한번 알아볼까요? ^^

(Windows.UI.Xaml.Controls.)MediaElement나 (Windows.UI.Xaml.Controls.)MediaPlayerElement가 .xaml 파일에서 생성할 수 없기 때문에 .xaml.cs에서 new를 이용해 생성하려고 시도하면 다음과 같은 예외가 발생합니다.

System.Windows.Controls.MediaElement me = new System.Windows.Controls.MediaElement();

/*

{"The application called an interface that was marshalled for a different thread. (Exception from HRESULT: 0x8001010E (RPC_E_WRONG_THREAD))"}

*/

분명히 UI 스레드인데도 불구하고 저런 오류가 발생합니다. 실제로 UWP의 Dispatcher 역시 WPF에서 사용하게 되면 0x8000000e 예외가 발생합니다.

Windows.ApplicationModel.Core.CoreApplication.MainView.CoreWindow.Dispatcher.RunAsync(CoreDispatcherPriority.Normal,
() =>
{
    // Your UI update code goes here!
});

{"A method was called at an unexpected time.\r\n\r\nCould not create a new view because the main window has not yet been created"}

왜냐하면 WPF의 UI 엔진이 UWP의 UI 엔진과 호환하지 않기 때문입니다. 이 외에도 UWP에서만 가능한 구성 요소들은 WPF에서 사용할 수 없습니다. 안 그러면 다음과 같은 식의 예외가 발생합니다.

ResourceContext context = ResourceContext.GetForCurrentView();

{"Unsupported MRT profile type. (Exception from HRESULT: 0x80073B20)"}




MediaElement 타입의 경우 WPF에서 System.Windows.Controls 네임스페이스를 통해 제공되긴 합니다. 하지만 UWP의 것과 완전히 다르기 때문에 UWP 예제에 나온 식으로 사용할 수 없습니다. 가령 UWP의 Windows.UI.Xaml.Controls.MediaElement의 경우 IRandomAccessStream을 인자로 받는 SetSource 메서드가 있지만 WPF에서 제공하는 System.Windows.Controls.MediaElement에는 Uri 타입만을 받는 Source 속성이 있을 뿐입니다.




참고로, Windows 10 미만의 버전이라면 System.Speech.Synthesis.SpeechSynthesizer를 사용하는 것도 방법입니다.

C#으로 만드는 음성인식/TTS 프로그램
; https://www.sysnet.pe.kr/2/0/1228





[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]





[최초 등록일: ]
[최종 수정일: 12/21/2017 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 



2017-12-20 04시02분
음성인식/TTS를 위해서는 환경 설정이 필요합니다.

윈도우 10 - TTS 및 음성 인식을 위한 환경 설정
; http://www.sysnet.pe.kr/2/0/11413

(2017-12-21 기준으로 아직 한글은 음성 인식을 지원하지 않습니다.)
정성태

... 16  17  18  19  20  21  22  23  24  25  [26]  27  28  29  30  ...
NoWriterDateCnt.TitleFile(s)
11441정성태1/18/20182553오류 유형: 447. ASP.NET Core 배포 오류 - Ensure that restore has run and that you have included '...' in the TargetFrameworks for your project.
11440정성태1/17/20182925.NET Framework: 727. ASP.NET의 HttpContext.Current 구현에 대응하는 ASP.NET Core의 IHttpContextAccessor/HttpContextAccessor 사용법파일 다운로드1
11439정성태8/25/20186165기타: 69. C# - CPU 100% 부하 주는 프로그램파일 다운로드1
11438정성태1/17/20183318오류 유형: 446. Error CS0234 The type or namespace name 'ITuple' does not exist in the namespace
11437정성태1/17/20182967VS.NET IDE: 124. Platform Toolset 설정에 따른 Visual C++의 헤더 파일 기본 디렉터리
11436정성태1/16/20183089개발 환경 구성: 352. ASP.NET Core (EXE) 프로세스가 IIS에서 호스팅되는 방법 - ASP.NET Core Module(AspNetCoreModule) [1]
11435정성태1/16/20183847개발 환경 구성: 351. OWIN 웹 서버(EXE)를 IIS에서 호스팅하는 방법 - HttpPlatformHandler (Reverse Proxy)파일 다운로드2
11434정성태1/15/20183892개발 환경 구성: 350. 사용자 정의 웹 서버(EXE)를 IIS에서 호스팅하는 방법 - HttpPlatformHandler (Reverse Proxy)파일 다운로드2
11433정성태1/15/20183277개발 환경 구성: 349. dotnet ef 명령어 사용을 위한 준비
11432정성태1/11/20184430.NET Framework: 726. WPF + Direct2D + SharpDX 출력 C# 예제파일 다운로드2
11431정성태1/11/20183808.NET Framework: 725. C# - 동기 방식이면서 비동기 메서드처럼 구현한 사례
11430정성태1/10/20185600.NET Framework: 724. WPF + Direct2D 출력 C# 예제 [1]파일 다운로드1
11429정성태1/9/20182462개발 환경 구성: 348. ASP.NET Core 2.1 Preview 버전 적용 방법
11428정성태1/7/20183386개발 환경 구성: 347. WinForm 프로젝트를 WPF 프로젝트 유형으로 변경하는 방법파일 다운로드1
11427정성태1/5/20182968오류 유형: 445. vcpkg 빌드 오류 - Starting the CLR failed with HRESULT 80040153
11426정성태10/19/20184191오류 유형: 444. curl로 호출할 때 발생하는 오류 정리
11425정성태1/4/20182472개발 환경 구성: 346. ASP.NET Core Web Application을 IIS에서 호스팅하는 방법 (2)
11424정성태1/4/20182800개발 환경 구성: 345. ASP.NET Core 프로젝트를 명령행에서 빌드하는 방법
11423정성태1/4/20189982VC++: 123. 내가 만든 코드보다 OpenCV의 속도가 월등히 빠른 이유 [4]파일 다운로드2
11422정성태1/3/20185577.NET Framework: 723. C# - OpenCvSharp 사용 시 C/C++을 이용한 속도 향상 (for 루프 연산) [4]파일 다운로드1
11421정성태1/2/20182407오류 유형: 443. Visual Studio - nuget configuration is invalid
11420정성태12/30/20173848.NET Framework: 722. C# - Windows 10 운영체제의 데스크톱 앱에서 음성인식(SpeechRecognizer) 사용하는 방법 [2]파일 다운로드1
11419정성태12/23/20174304.NET Framework: 721. WebClient 타입의 ...Async 메서드 호출은 왜 await + 동기 호출 시 hang 현상이 발생할까요? [2]파일 다운로드1
11418정성태1/10/20185214.NET Framework: 720. 비동기 메서드 내에서 await 시 ConfigureAwait 호출 의미파일 다운로드1
11417정성태12/22/20173045.NET Framework: 719. Task를 포함하는 async 메서드의 동작 방식
11416정성태12/21/20172932.NET Framework: 718. AsyncTaskMethodBuilder.Create() 메서드 동작 방식
... 16  17  18  19  20  21  22  23  24  25  [26]  27  28  29  30  ...