Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
(연관된 글이 3개 있습니다.)

sysnet 첨부 파일을 Azure Storage에 마이그레이션

보통, 웬만한 웹 사이트는 게시판을 가지고 있기 마련이고, 따라서 첨부 파일이 있을 것입니다. 업로드된 파일들을 DB에 저장하는 경우도 있겠지만 대개의 경우 파일 시스템에 저장할 텐데요.

sysnet 웹 사이트도 Azure 클라우드 서비스로 마이그레이션할 때 '웹 애플리케이션 코드' 이외에 다음과 같이 2가지의 데이터 이전이 필요했습니다.

  • Database
  • 첨부 파일

Database는 지난번 글에서 이미 설명했고,

sysnet DB를 SQL Azure 데이터베이스로 마이그레이션
; https://www.sysnet.pe.kr/2/0/1303

이제 "첨부되었던 파일"들을 Azure로 올려야 하는데요. 이러한 파일 데이터를 위해서 Azure에서는 (아마존에서는 S3 서비스에 해당하는) "Storage 서비스"를 제공해 주고 있는데, 실제로 Azure에 Storage 서비스를 하나 생성하면 다음과 같이 3개의 서비스 종류가 한꺼번에 제공됩니다.

blob_storage_explorer_1.png

그리고 이를 이용하려면 하단의 "MANAGE KEYS" 버튼을 눌러서 아래와 같이 계정 키를 알아내야 합니다.

blob_storage_explorer_2.png

3가지 서비스 종류에서 '첨부 파일'을 처리하기에 적합한 유형이 바로 "Blobs" 저장소입니다. (나중에 설명하겠지만, 이곳에 파일을 저장하면 웹 브라우저에 경로를 직접 입력하여 접근하는 것도 가능합니다.)

Azure에 올라갈 웹 사이트에 첨부 파일 기능이 있다면 다음과 같이 크게 3가지 단계를 반영해 주어야 합니다.

  1. 게시판에서 업로드되는 파일을 Azure Blob Storage에 저장하도록 변경
  2. 게시판에서 다운로드되는 파일을 Azure Blob Storage로부터 가져오도록 변경
  3. 기존 업로드된 파일들을 Azure Blob Storage에 미리 적재

이 중에서 1번과 2번 단계는 (나중에 알아보겠지만) 웹 애플리케이션의 코드 변경을 가져오는 반면, 3번 단계는 별도 조치를 취해주어야 하는데, 이를 위해 다시 2가지 정도의 방법이 있습니다.

첫 번째는 직접 코딩을 하는 방법이 있는데요. 이건 아래의 글을 참고해서 만들어 주시면 됩니다.

블랍(Blob) 저장소 서비스 사용하기 
; http://taeyo.net/Columns/View.aspx?SEQ=417&PSEQ=33

두 번째는, "Azure Storage Explorer"를 이용하는 방법이 있습니다.

Azure Storage Explorer (소스 코드 제공됨)
; http://azurestorageexplorer.codeplex.com/

설치 후, 실행해서 "Add Account" 버튼을 눌러 계정 정보를 입력해야 하는데,

blob_storage_explorer_3.png

"Storage account name"은 Azure 관리화면에서 "STORAGE" 서비스로 생성했던 이름을 넣고, "Storage account key"는 "MANAGE KEYS" 버튼으로 알아냈던 "PRIMARY ACCESS KEY" 또는 "SECONDARY ACCESS KEY"를 입력해 주면 됩니다.

제 경우에는, 이미 웹 사이트를 하나 Cloud Services에 배포했기 때문에 다음과 같이 "wad-control-container" 컨테이너가 있는 것을 볼 수 있습니다.

blob_storage_explorer_4.png

"첨부되었던 파일"들을 보관하기 위해 새로운 컨테이너를 만들어야 하는데, "Container" / "New" 버튼을 눌러주면 됩니다.

blob_storage_explorer_5.png

Container를 생성했으면 이제 원하는 파일을 "Upload" 버튼을 이용하여 할 수 있습니다. (다중 파일 선택이 가능합니다.)

blob_storage_explorer_6.png

업로드가 완료되면 다음과 같이 목록에 나타나고,

blob_storage_explorer_7.png

이전에 "attachments" 컨테이너를 "Public Container"로 지정했기 때문에 웹 브라우저를 이용하여 직접 다운로드하는 것이 가능합니다.

http://[STROAGE 서비스 이름].blob.core.windows.net/[컨테이너 이름]/[파일명]

정확한 URL은 아래와 같이 "View" 버튼을 이용하여 (또는 해당 파일을 더블 클릭하거나) 나오는 속성 창에서 "AbsoluteUri" 속성값을 이용해서도 구할 수 있습니다.

blob_storage_explorer_8.png

비록 "Azure Storage Explorer"가 편리하긴 하지만, 단점이 하나 있는데요. 파일이 많은 경우 - 가령 2,000개 정도만 있어도 해당 컨테이너를 선택하면 파일 목록을 보는데 30초 넘게 기다려야 합니다. 개인적으로 이 부분이 다소 불편했는데, 가만 보니 "Azure Storage Explorer"는 해당 파일에 대해서 '속성'값들을 전부 조회하기 때문에 느려지는 것 같았습니다. 그래서, 저 나름대로 다시 간단한 프로그램을 만들었는데요.

캡처 화면은 아래와 같고, 사용법은 직관적으로 알 수 있으니 생략하지만... 코드는 이 글에 첨부해 두었으니 참고하실 분은 다운로드하면 되겠습니다. ^^

blob_storage_explorer_9.png




그 외에, 게시판에서 첨부 파일을 업로드/다운로드하는 경우에 대해 코드를 변경해 주어야 하는데요. 이 부분은 블랍(Blob) 저장소 서비스 사용하기 글만 잘 읽어보면 구현하는 데 별 어려움이 없습니다. 예를 들어, 다운로드는 다음과 같이 Response.OutputStream에 직접 쓰기를 해주거나,

Response.Clear();
Response.ContentType = "application/octet-stream";
string encodedFilename = HttpContext.Current.Server.UrlEncode(orgFileName);
Response.AddHeader("Content-Disposition", "attachment; filename=" + encodedFilename);

CloudStorageAccount storageAccount = 
    CloudStorageAccount.Parse(ConfigurationManager.AppSettings["AzureStorage"]);

CloudBlobClient blobClient = storageAccount.CreateCloudBlobClient();
CloudBlobContainer blobContainer = blobClient.GetContainerReference("attachments");

CloudBlob blobItem = blobContainer.GetBlobReference(orgFileName);

blobItem.DownloadToStream(Response.OutputStream);
Response.End();

또는 위에서 설명한데로 "http://[STROAGE 서비스 이름].blob.core.windows.net/[컨테이너 이름]/[파일명]" 경로를 직접 웹 브라우저 측에 A 링크로 노출시켜도 됩니다.

마지막으로, 업로드의 경우에는 PostedFile 개체의 InputStream을 직접 CloudBlob.UploadFromStream에 전달해 주면 됩니다.

CloudStorageAccount storageAccount = 
    CloudStorageAccount.Parse(ConfigurationManager.AppSettings["AzureStorage"]);

CloudBlobClient blobClient = storageAccount.CreateCloudBlobClient();
CloudBlobContainer blobContainer = blobClient.GetContainerReference("attachments");

CloudBlob blobItem = blobContainer.GetBlobReference("...[파일명]...");
blobItem.UploadFromStream(upFile.PostedFile.InputStream);

어떠세요? 생각했던 것보다 더욱 간단하지요. 물론, 복잡한 응용 프로그램이라면 코드를 좀 더 변경할 부분들이 많겠지만 sysnet 웹 사이트의 경우에는 위와 같이 업/다운로드 처리를 하는 코드 작업이 주요했고 이외에는 거의 변경된 것이 없습니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 7/17/2021]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 



2014-03-01 03시22분
[runner] 블롭 파일을 웹앱을 경유해서 다운로드 시키려 할 때 memorystream에 download 했다가 response로 보내는


 Stream stream = new MemoryStream();
    CloudBlockBlob blockBlob = blobContainer.GetBlockBlobReference(blobName);
if (blockBlob.Exists())
    {
        blockBlob.DownloadToStream(stream);
        long streamlen = stream.Length; <-- This shows 0 bytes
        stream.Position = 0;
    }


이런 예제들이 많이 검색되던데 , 더 직접 response Stream 에 보내는 방법이 있었군요! 좋은 정보 알아 갑니다.
[guest]
2015-11-19 06시40분
본문에서 소개한 Azure Storage Explorer보다 더 나은 버전이 preview로 공개되었습니다.

Microsoft Azure Storage Explorer
; http://storageexplorer.com/

또한 소스코드도 github에 오픈소스로 공개된 상태입니다.

Project Deco - Azure Storage Explorer for OS X, Windows, and Linux
; https://github.com/azure-storage/deco
정성태
2018-09-05 01시30분
Azure Storage에서 정적 웹 페이지 호스팅하는 기능 제공

Static website hosting for Azure Storage now in public preview
; https://azure.microsoft.com/en-us/blog/azure-storage-static-web-hosting-public-preview/
; https://learn.microsoft.com/en-us/azure/storage/blobs/storage-blob-static-website
정성태

... 91  92  93  94  95  96  97  98  99  100  101  [102]  103  104  105  ...
NoWriterDateCnt.TitleFile(s)
11383정성태12/4/201723393디버깅 기술: 110. 비동기 코드 실행 중 예외로 인한 ASP.NET 프로세스 비정상 종료 현상 [1]
11382정성태12/4/201721927오류 유형: 436. System.Data.SqlClient.SqlException (0x80131904): Connection Timeout Expired 예외 발생 시 "[Pre-Login] initialization=48; handshake=1944;" 값의 의미
11381정성태11/30/201718418.NET Framework: 702. 한글이 포함된 바이트 배열을 나눈 경우 한글이 깨지지 않도록 다시 조합하는 방법(두 번째 이야기)파일 다운로드1
11380정성태11/30/201718444디버깅 기술: 109. windbg - (x64에서의 인자 값 추적을 이용한) Thread.Abort 시 대상이 되는 스레드를 식별하는 방법
11379정성태11/30/201719136오류 유형: 435. System.Web.HttpException - Session state has created a session id, but cannot save it because the response was already flushed by the application.
11378정성태11/29/201720616.NET Framework: 701. 한글이 포함된 바이트 배열을 나눈 경우 한글이 깨지지 않도록 다시 조합하는 방법 [1]파일 다운로드1
11377정성태11/29/201719877.NET Framework: 700. CommonOpenFileDialog 사용 시 사용자가 선택한 파일 목록을 구하는 방법 [3]파일 다운로드1
11376정성태11/28/201724271VS.NET IDE: 123. Visual Studio 편집기의 \r\n (crlf) 개행을 \n으로 폴더 단위로 설정하는 방법
11375정성태11/28/201719064오류 유형: 434. Visual Studio로 ASP.NET 디버깅 중 System.Web.HttpException - Could not load type 오류
11374정성태11/27/201724162사물인터넷: 14. 라즈베리 파이 - (윈도우의 NT 서비스처럼) 부팅 시 시작하는 프로그램 설정 [1]
11373정성태11/27/201723151오류 유형: 433. Raspberry Pi/Windows 다중 플랫폼 지원 컴파일 관련 오류 기록
11372정성태11/25/201726130사물인터넷: 13. 윈도우즈 사용자를 위한 라즈베리 파이 제로 W 모델을 설정하는 방법 [4]
11371정성태11/25/201719811오류 유형: 432. Hyper-V 가상 스위치 생성 시 Failed to connect Ethernet switch port 0x80070002 오류 발생
11370정성태11/25/201719817오류 유형: 431. Hyper-V의 Virtual Switch 생성 시 "External network" 목록에 특정 네트워크 어댑터 항목이 없는 경우
11369정성태11/25/201721783사물인터넷: 12. Raspberry Pi Zero(OTG)를 다른 컴퓨터에 연결해 가상 키보드 및 마우스로 쓰는 방법 (절대 좌표, 상대 좌표, 휠) [1]
11368정성태11/25/201727417.NET Framework: 699. UDP 브로드캐스트 주소 255.255.255.255와 192.168.0.255의 차이점과 이를 고려한 C# UDP 서버/클라이언트 예제 [2]파일 다운로드1
11367정성태11/25/201727486개발 환경 구성: 337. 윈도우 운영체제의 route 명령어 사용법
11366정성태11/25/201719134오류 유형: 430. 이벤트 로그 - Cryptographic Services failed while processing the OnIdentity() call in the System Writer Object.
11365정성태11/25/201721379오류 유형: 429. 이벤트 로그 - User Policy could not be updated successfully
11364정성태11/24/201723328사물인터넷: 11. Raspberry Pi Zero(OTG)를 다른 컴퓨터에 연결해 가상 마우스로 쓰는 방법 (절대 좌표) [2]
11363정성태11/23/201723342사물인터넷: 10. Raspberry Pi Zero(OTG)를 다른 컴퓨터에 연결해 가상 마우스 + 키보드로 쓰는 방법 (두 번째 이야기)
11362정성태11/22/201719744오류 유형: 428. 윈도우 업데이트 KB4048953 - 0x800705b4 [2]
11361정성태11/22/201722542오류 유형: 427. 이벤트 로그 - Filter Manager failed to attach to volume '\Device\HarddiskVolume??' 0xC03A001C
11360정성태11/22/201722386오류 유형: 426. 이벤트 로그 - The kernel power manager has initiated a shutdown transition.
11359정성태11/16/201721897오류 유형: 425. 윈도우 10 Version 1709 (OS Build 16299.64) 업그레이드 시 발생한 문제 2가지
11358정성태11/15/201726687사물인터넷: 9. Visual Studio 2017에서 Raspberry Pi C++ 응용 프로그램 제작 [1]
... 91  92  93  94  95  96  97  98  99  100  101  [102]  103  104  105  ...