Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
(연관된 글이 2개 있습니다.)

Html Agility Pack 소개 - 웹 문서에서 텍스트만 분리하는 방법

예전에는 Internet Explorer의 COM 개체를 이용해서 DOM 개체로부터 텍스트만 분리하는 방법을 사용했었는데요. IE에 대한 의존성을 줄이기 위해 혹시나 싶어서 찾아보니 다음의 공개 소스가 있습니다.

Html Agility Pack
; http://htmlagilitypack.codeplex.com/

codeplex에 있으니 당연히 오픈소스이고 "Ms-PL" 라이선스이기 때문에 상용에도 사용할 수 있습니다.

다운로드하면 6개의 프로젝트가 있지만,

htmlagilitypack_1.png

실제로 필요한 것은 HtmlAgilityPack 프로젝트 하나이고, 그것을 이용해 텍스트를 추출하는 예제가 Html2TxtVS2008 프로젝트입니다.

따라서, 그냥 프로젝트 하나 만들고 HtmlAgilityPack을 참조 추가한 다음 Html2TxtVS2008 프로젝트에 구현된 HtmlToText 타입을 이용해 아래와 같이 코드를 만들어 주시면 웹 페이지에 포함된 텍스트만을 추출할 수 있습니다.

using System;
using System.IO;
using System.Net;
using System.Text;

namespace HtmlAgilityPack.Samples
{
    class Html2Xml
    {
        [STAThread]
        static void Main(string[] args)
        {
            // 아래의 WebClient 코드는 https://www.sysnet.pe.kr/2/0/1493 글을 참조
            WebClient wc = new WebClient();

            string url  = "http://ko.wikipedia.org/wiki/%EC%9D%B8%ED%84%B0%EB%84%B7";
            byte [] docBytes = wc.DownloadData(url);
            string encodeType = wc.ResponseHeaders["Content-Type"];

            string charsetKey = "charset";
            int pos = encodeType.IndexOf(charsetKey);

            Encoding currentEncoding = Encoding.Default;
            if (pos != -1)
            {
                pos = encodeType.IndexOf("=", pos + charsetKey.Length);
                if (pos != -1)
                {
                    string charset = encodeType.Substring(pos + 1);
                    currentEncoding = Encoding.GetEncoding(charset);
                }
            }

            string doc = currentEncoding.GetString(docBytes);

            HtmlToText htt = new HtmlToText();
            string innerText = htt.ConvertHtml(doc);

            Console.WriteLine(innerText);
        }
    }
}

첨부된 파일은 위의 예제가 동작하는 프로젝트입니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 8/18/2021]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 



2016-06-27 01시49분
HtmlAgilityPack.HtmlDocument.Load로 직접 로딩 시에 encoding 문제를 유의해야 합니다.

윈폼 html파싱에 대하여 질문
; https://social.msdn.microsoft.com/Forums/ko-KR/777a93d0-03dc-417f-b23e-3abc4c2019f5/-html-?forum=visualcsharpko
정성태
2023-06-23 10시08분
정성태

... 121  122  123  124  [125]  126  127  128  129  130  131  132  133  134  135  ...
NoWriterDateCnt.TitleFile(s)
10834정성태8/19/201522843.NET Framework: 526. 닷넷 - 값 형식을 new 없이 생성하면 0으로 초기화되지 않는다?
10833정성태8/18/201527191.NET Framework: 525. C# - 닷넷에서 프로세스가 열고 있는 파일 목록을 구하는 방법파일 다운로드1
10832정성태8/17/201531322디버깅 기술: 74. x64 콜 스택 인자 추적과 windbg의 Child-SP, RetAddr, Args to Child 값 확인 [8]파일 다운로드2
10831정성태8/13/201532033.NET Framework: 524. .NET 4.0과 .NET 4.5의 컴파일 결과 차이점 [1]파일 다운로드1
10830정성태8/12/201525767개발 환경 구성: 275. Web.config이 적용되지 않는 프로젝트에서 Razor 템플릿 파일의 C# 컴파일러 버전 제어 [1]
10829정성태8/10/201527894개발 환경 구성: 274. PowerShell/명령행에서 JDK/JRE를 무인(unattended)/자동 설치를 하는 방법 [3]
10828정성태8/10/201533375웹: 30. Edge 브라우저에서 "이 웹 사이트에는 Internet Explorer가 필요함" 단계를 없애는 방법 [1]
10827정성태7/8/201534183개발 환경 구성: 273. Visual Studio 2015에서 Github와 연동하는 방법 [3]
10826정성태7/8/201524607오류 유형: 301. The trust relationship between this workstation and the primary domain failed. - 두 번째 이야기
10825정성태7/8/201523156개발 환경 구성: 272. Visual Studio IDE 설치 없이 Visual Studio SDK 설치하는 방법
10824정성태7/7/201528861개발 환경 구성: 271. Team Foundation Server 2015 설치 방법 [1]
10823정성태7/7/201529776오류 유형: 300. SqlException (0x80131904): Unable to open the physical file
10822정성태7/7/201528480오류 유형: 299. The 'Visual C++ Project System Package' package did not load correctly.
10821정성태7/7/201521818오류 유형: 298. Unable to start debugging on the web server. IIS does not list a web site that matches the launched URL.
10820정성태7/7/201527309오류 유형: 297. HTTP Error 503. The service is unavailable. - 두 번째
10819정성태7/2/201530474오류 유형: 296. SQL Server Express 시작 오류 - error code 3417
10818정성태7/1/201529622오류 유형: 295. HTTP Error 503. The service is unavailable. [1]
10817정성태6/29/201533928.NET Framework: 523. C# 람다(Lambda)에서 변수 캡처 방식 [3]
10816정성태6/25/201529391.NET Framework: 522. 닷넷의 어셈블리 서명 데이터 확인 방법파일 다운로드1
10815정성태6/23/201528024Graphics: 1. 자네 나와 함께... UNITY 하지 않겠는가! [4]
10814정성태6/22/201525690.NET Framework: 521. Roslyn을 이용해 C# 문법 변형하기 (2) [5]
10813정성태6/21/201526573.NET Framework: 520. Roslyn을 이용해 C# 문법 변형하기 (1)
10812정성태6/20/201527495.NET Framework: 519. C# 6.0 오픈 소스 컴파일러 Roslyn - 빌드 및 테스트 방법 [1]
10811정성태6/20/201524647오류 유형: 294. OpenAuth 사용 시 System.Data.SqlClient.SqlException 예외가 Output 창에 출력되는 문제
10810정성태6/18/201524440개발 환경 구성: 270. Visual Studio에서 github 오픈 소스를 fork해서 테스트하는 방법 [1]
10809정성태6/18/201521756.NET Framework: 518. AllowPartiallyTrustedCallers 특성이 적용된 GAC 어셈블리에서 DynamicMethod의 calli 명령어 사용파일 다운로드1
... 121  122  123  124  [125]  126  127  128  129  130  131  132  133  134  135  ...