Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 

파이썬 tensorflow - Dst tensor is not initialized. 오류 메시지

이런 오류가 발생한다면?

2021-08-29 12:45:04.918972: I tensorflow/core/platform/cpu_feature_guard.cc:142] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations:  AVX AVX2
To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.
2021-08-29 12:45:05.625247: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1510] Created device /job:localhost/replica:0/task:0/device:GPU:0 with 6643 MB memory:  -> device: 0, name: NVIDIA GeForce GTX 1070, pci bus id: 0000:01:00.0, compute capability: 6.1
2021-08-29 12:45:06.153571: I tensorflow/compiler/mlir/mlir_graph_optimization_pass.cc:185] None of the MLIR Optimization Passes are enabled (registered 2)
Epoch 1/10
 994/1000 [============================>.] - ETA: 0s - loss: 1.1682 - accuracy: 0.88972021-08-29 12:45:23.530835: W tensorflow/core/common_runtime/bfc_allocator.cc:457] Allocator (GPU_0_bfc) ran out of memory trying to allocate 7.48GiB (rounded to 8028160000)requested by op _EagerConst
If the cause is memory fragmentation maybe the environment variable 'TF_GPU_ALLOCATOR=cuda_malloc_async' will improve the situation. 
Current allocation summary follows.
Current allocation summary follows.
2021-08-29 12:45:23.532022: I tensorflow/core/common_runtime/bfc_allocator.cc:1004] BFCAllocator dump for GPU_0_bfc
2021-08-29 12:45:23.532270: I tensorflow/core/common_runtime/bfc_allocator.cc:1011] Bin (256):  Total Chunks: 35, Chunks in use: 35. 8.8KiB allocated for chunks. 8.8KiB in use in bin. 480B client-requested in use in bin.
2021-08-29 12:45:23.532546: I tensorflow/core/common_runtime/bfc_allocator.cc:1011] Bin (512):  Total Chunks: 3, Chunks in use: 3. 1.5KiB allocated for chunks. 1.5KiB in use in bin. 1.5KiB client-requested in use in bin.
...[생략]...
2021-08-29 12:45:23.581168: I tensorflow/core/common_runtime/bfc_allocator.cc:1068] 1 Chunks of size 156800000 totalling 149.54MiB
2021-08-29 12:45:23.581357: I tensorflow/core/common_runtime/bfc_allocator.cc:1072] Sum Total of in-use chunks: 188.12MiB
2021-08-29 12:45:23.581524: I tensorflow/core/common_runtime/bfc_allocator.cc:1074] total_region_allocated_bytes_: 6966018048 memory_limit_: 6966018048 available bytes: 0 curr_region_allocation_bytes_: 13932036096
2021-08-29 12:45:23.581776: I tensorflow/core/common_runtime/bfc_allocator.cc:1080] Stats: 
Limit:                      6966018048
InUse:                       197255168
MaxInUse:                    197255168
NumAllocs:                       37070
MaxAllocSize:                156800000
Reserved:                            0
PeakReserved:                        0
LargestFreeBlock:                    0

2021-08-29 12:45:23.582270: W tensorflow/core/common_runtime/bfc_allocator.cc:468] ***_________________________________________________________________________________________________
Traceback (most recent call last):
...[생략]...
  File "E:\Anaconda3\lib\site-packages\tensorflow\python\framework\constant_op.py", line 106, in convert_to_eager_tensor
    return ops.EagerTensor(value, ctx.device_name, dtype)
tensorflow.python.framework.errors_impl.InternalError: Failed copying input tensor from /job:localhost/replica:0/task:0/device:CPU:0 to /job:localhost/replica:0/task:0/device:GPU:0 in order to run _EagerConst: Dst tensor is not initialized.

Process finished with exit code 1

원인은 메모리 부족일 수 있고, dataset 크기를 줄여서 넣으면 잘 될 것입니다. ^^ 그런데, 경우에 따라 잘못된 차원의 dataset을 넣었을 때도 발생하기도 하므로 "파이썬 tensorflow - ValueError: Shapes (...) and (...) are incompatible"에서처럼 데이터셋이 정상적인 차원을 가지고 있는지 검사할 필요도 있습니다.




참고로, 메시지 중간에 보면 이런 권고 사항이 있는데요,

W tensorflow/core/common_runtime/bfc_allocator.cc:457] Allocator (GPU_0_bfc) ran out of memory trying to allocate 7.48GiB (rounded to 8028160000)requested by op _EagerConst
If the cause is memory fragmentation maybe the environment variable 'TF_GPU_ALLOCATOR=cuda_malloc_async' will improve the situation. 
Current allocation summary follows.

실제로 이것을 설정하고,

os.putenv('TF_GPU_ALLOCATOR', 'cuda_malloc_async')

실행해 봤지만, 다음과 같이 Async allocator를 사용하겠다는 메시지만 나온 후 잠시 후에 비정상 종료를 했습니다.

2021-08-29 13:36:43.083542: I tensorflow/core/platform/cpu_feature_guard.cc:142] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations:  AVX AVX2
To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.
2021-08-29 13:36:43.726382: I tensorflow/core/common_runtime/gpu/gpu_process_state.cc:215] Using CUDA malloc Async allocator for GPU: 0

Process finished with exit code -1073740940 (0xC0000374)

그냥, 메모리 소비를 줄이는 것이 답인 듯합니다. ^^




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 9/2/2021]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 91  92  93  94  95  96  97  98  99  [100]  101  102  103  104  105  ...
NoWriterDateCnt.TitleFile(s)
11524정성태5/15/201828074.NET Framework: 750. C# 7.2 - readonly 구조체 [5]파일 다운로드1
11523정성태5/15/201824067.NET Framework: 749. C# - 값 형식의 readonly 인스턴스에 대한 메서드 호출 시 defensive copy 발생 [1]파일 다운로드1
11522정성태5/15/201823156개발 환경 구성: 378. Azure - VM 진단 설정 화면의 "This subscription is not registered with the Microsoft.Insights resource provider."
11521정성태5/15/201820558개발 환경 구성: 377. Azure - 원하는 성능 데이터로 모니터링 대시보드 구성
11520정성태5/12/201823390.NET Framework: 748. C# 7.1 - 참조 어셈블리(Ref Assemblies)
11519정성태5/12/201825758개발 환경 구성: 376. ASP.NET Web Application 프로젝트의 FileSystem 배포(Publish) 시 Before/After Task 설정 방법 [1]
11518정성태5/10/201823728.NET Framework: 747. C# 7.0에서도 부분적으로 가능해진 "타입 추론을 통한 튜플의 변수명 자동 지정"
11517정성태5/10/201821062.NET Framework: 746. Azure runbook 예제 - 6시간 동안 수행 중인 VM을 중지 [1]파일 다운로드1
11516정성태5/9/201822537.NET Framework: 745. Azure runbook을 PowerShell 또는 C# 코드로 실행하는 방법파일 다운로드1
11515정성태5/9/201825276.NET Framework: 744. C# 6 - Expression bodied function [1]
11514정성태5/3/201823001오류 유형: 466. Bitvise - Error in component session/transport/kexHandler [2]
11513정성태5/3/201830780.NET Framework: 743. C# 언어의 공변성과 반공변성 [9]파일 다운로드2
11512정성태5/2/201822554개발 환경 구성: 375. Azure runbook 실행 시 "Errors", "All Logs"에 오류 메시지가 출력되는 경우
11511정성태5/2/201823205개발 환경 구성: 374. Azure - Runbook 기능 소개
11510정성태4/30/201824283.NET Framework: 742. windbg로 확인하는 Finalizer를 가진 객체의 GC 과정파일 다운로드1
11509정성태4/28/201822130.NET Framework: 741. windbg로 확인하는 객체의 GC 여부
11508정성태4/23/201824284개발 환경 구성: 373. MSBuild를 이용해 프로젝트 배포 후 결과물을 zip 파일로 압축하는 방법파일 다운로드1
11507정성태4/20/201825583개발 환경 구성: 372. MSBuild - 빌드 전/후, 배포 전/후 실행하고 싶은 Task 정의
11506정성태4/20/201829644.NET Framework: 740. C#에서 enum을 boxing 없이 int로 변환하기 - 두 번째 이야기 [7]파일 다운로드1
11505정성태4/19/201822632개발 환경 구성: 371. Azure Web App 확장 예제 - Simple WebSite Extension
11504정성태4/19/201824164오류 유형: 465. Azure Web App 확장 - Extplorer File manager 적용 시 오류
11503정성태4/19/201822108오류 유형: 464. PowerShell - Start-Service 명령 오류 (Service 'xxx' cannot be started)
11502정성태4/17/201825079개발 환경 구성: 370. Azure VM/App Services(Web Apps)에 Let's Encrypt 무료 인증서 적용 방법 [3]
11501정성태4/17/201822957개발 환경 구성: 369. New-AzureRmADServicePrincipal로 생성한 계정의 clientSecret, key 값을 구하는 방법파일 다운로드1
11500정성태4/17/201823865개발 환경 구성: 368. PowerShell로 접근하는 Azure의 Access control 보안과 Azure Active Directory의 계정 관리 서비스
11499정성태4/17/201822145개발 환경 구성: 367. Azure - New-AzureRmADServicePrincipal / New-AzureRmRoleAssignment 명령어
... 91  92  93  94  95  96  97  98  99  [100]  101  102  103  104  105  ...