Microsoft MVP성태의 닷넷 이야기
Async 신뢰성과 소켓데이터 [링크 복사], [링크+제목 복사],
조회: 10896
글쓴 사람
검은콩
홈페이지
첨부 파일
 

막대한 양의 실시간 데이터를 Socekt으로 수신하는 경우

그 데이터를 Async FileSave라는 사용자함수를 통해서
저장하는 경우 일부 데이터를 잡아내지 못하는데

프로그램개발자가 CPU부하, 부하유발 코딩 로직 등 포함 다양한 요인들이 있어서
어쩔 수 없다는데 소켓데이터를 수신하는 경우 그 데이터를 저장, 가공 시



어쩔 수 없는 한계인지요?








[최초 등록일: ]
[최종 수정일: 2/9/2023]


비밀번호

댓글 작성자
 



2023-02-09 06시43분
'일부 데이터'를 잡아내지 못한다는 것이 구체적으로 어떤 의미인가요? 소켓에서 데이터를 못 받아온다는 건가요? 소켓에서는 다 받았는데 디스크에 쓰는 중에 누락된다는 건가요? 글의 의미로 보면 아마도 후자에 해당하는 것 같은데요, 간단하게 구조를 바꿔 테스트를 해보면 될 것 같습니다. async file save를 직접 하지 말고, 해당 데이터를 BlockingCollection<T> 등의 자료 구조를 이용해 enqueue 시키고, 다른 스레드에서 그렇게 누적된 데이터를 동기로 쓰는 코드를 써보세요.

만약, '막대한' 데이터라서 디스크에 쓰는 것이 밀린다면 collection에는 계속해서 데이터가 쌓이게 될 것입니다. 제 생각에는, 보통은 네트워크보다 디스크 속도가 빠르기 때문에 웬만하면 데이터가 쌓일 것 같지는 않은데요. ^^;
정성태
2023-02-09 08시02분
[검은콩] 정답을 얻은 것같아 아주 기쁩니다 ㅎㅎ

예를 들어 한전 본사같이 전국에서 실시간으로 전기데이터를 소켓으로 받는다고 가정하고
일단 데이터 저장은 BlockingCollection<T> 등의 자료 구조를 이용해 enqueue 시키고 DB
저장한다고 해도

실시간 전력차단 또는 배전을 판단할 때 전국에서 들어오는 소켓 데이터 수신하는 경우
소켓데이터를 실시간 제어할 때 데이터 손실이나 시스템부하 등으로 인한 주의점은 없나요?
무식한 질문이지만
[guest]
2023-02-09 08시35분
달리 생각해 보시면 됩니다. 우리가 보통 어떤 서비스를 이용할 때 서버가 못 받쳐주면 어떻게 될까요? 사실 클라이언트 화면에서부터 모래 시계 화면이 돌게 됩니다. 즉, '지연'이 발생하는 것이지 데이터가 누락되는 그런 식은 아닙니다. 물론, 지연이 심해 timeout 등의 사태가 발생하면 데이터가 누락될 것입니다. 만약 그런 정도의 데이터를 하나의 서버에서 받고 있는 중이라면, 방법은 2대로 늘리면 됩니다. 그게 안 된다면 또 한 대를 늘리고.

만약, 현재 그 서버가 정말로 시스템 리소스가 부족해 성능에 문제가 발생하고 있다면 scale-up 또는 scale-out을 고려해야 합니다. 세상의 많은 서비스가 그러했듯이!
정성태
2023-02-09 09시55분
[검은콩] 서버증설은 힘들다고 하며 저의 CPU 성능개선이나 로직을 개선하라고 하네요
해결책은 유저 PC나 서버증설 또는 로직 개선이군요
수고하세요
[guest]

... 76  77  78  79  80  [81]  82  83  84  85  86  87  88  89  90  ...
NoWriterDateCnt.TitleFile(s)
466이승기9/25/200613785Attribute를 이용한 COM 구현 시 interface의 상속 [1]
467이승기9/27/200613370    답변글 [답변]: Attribute를 이용한 COM 구현 시 interface의 상속
4659/23/200612886vb.net에서 c에서 보내는 Post메쎄지를 잡아서 처리할수 없을가요? [1]
464정윤수9/22/200614763asp.net 에서 DataSet 을 RecordSet 으로 변환 [2]
463sagi...9/22/200613722IE 제어 (BHO) 중 데이터 형에 질문 드립니다. [1]
462[손님]9/21/200615305ASP.NET 에서 COM+ 호출시 프로그램 구조를 어떻게 만들어야 할지...조언 부탁합니다. [2]파일 다운로드1
461정태운9/19/200615195Vista RC1에서 XPS Document를 Image로 변환하는 코드의 특정 API 가 동작하지 않습니다. [2]
459이방은9/14/200614231축하합니다.. [1]
458이승용9/7/200615536스마트 클라이언트 관련 질문입니다. [4]
456guest9/7/200615201데이타셋 암호화 방법...이 있을까요? [2]
451임은주8/31/200614884mms 스트림을 로컬 파일로 저장해주는 프로그램 에 대해서 여쭤볼께요 [1]
448guest8/28/200615431서버인증서및클라이언트인증서 발급
449정성태8/28/200614903    답변글 [답변]: 서버인증서및클라이언트인증서 발급
450ligh...8/29/200615176        답변글 [답변]: [답변]: 서버인증서및클라이언트인증서 발급 [3]
468light9/28/200615198            답변글 [답변]: [답변]: [답변]: 서버인증서및클라이언트인증서 발급
472정성태10/5/200615664    답변글 [답변]: 서버 인증서 및 클라이언트 인증서 발급
475ligh...10/11/200614549        답변글 [답변]: [답변]: 서버인증서및클라이언트인증서 발급
446윤경재8/20/200620001COM+ 프로젝트 디버깅 방법. [2]파일 다운로드1
442이남호8/7/200615000스마트클라이언트에 Farpoint Winform을 이용했는데 배포가 안되요.
443이남호8/7/200616871    답변글 [답변]: 스마트클라이언트에 Farpoint Winform을 이용했는데 배포가 안되요.
441강혜영8/5/200615918SHDocVw를 이용한 익스플로어 제어
444정성태8/7/200614051    답변글 [답변]: SHDocVw를 이용한 익스플로어 제어
445강혜영8/8/200614709        답변글 [답변]: [질문]: SHDocVw를 이용한 익스플로어 제어 [1]
437혀기7/25/200613349DirectoryEntry의 Childrend에 Add할때 엑세스가 거부됩니다~ㅜㅜ [2]파일 다운로드1
436조성택7/24/200613210IE를 가로채서 그리고 싶을때.. [1]
439태기7/25/200613883    답변글 [답변]: IE를 가로채서 그리고 싶을때..(재질문) [1]파일 다운로드1
... 76  77  78  79  80  [81]  82  83  84  85  86  87  88  89  90  ...