Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 

파이썬 tensorflow - Dst tensor is not initialized. 오류 메시지

이런 오류가 발생한다면?

2021-08-29 12:45:04.918972: I tensorflow/core/platform/cpu_feature_guard.cc:142] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations:  AVX AVX2
To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.
2021-08-29 12:45:05.625247: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1510] Created device /job:localhost/replica:0/task:0/device:GPU:0 with 6643 MB memory:  -> device: 0, name: NVIDIA GeForce GTX 1070, pci bus id: 0000:01:00.0, compute capability: 6.1
2021-08-29 12:45:06.153571: I tensorflow/compiler/mlir/mlir_graph_optimization_pass.cc:185] None of the MLIR Optimization Passes are enabled (registered 2)
Epoch 1/10
 994/1000 [============================>.] - ETA: 0s - loss: 1.1682 - accuracy: 0.88972021-08-29 12:45:23.530835: W tensorflow/core/common_runtime/bfc_allocator.cc:457] Allocator (GPU_0_bfc) ran out of memory trying to allocate 7.48GiB (rounded to 8028160000)requested by op _EagerConst
If the cause is memory fragmentation maybe the environment variable 'TF_GPU_ALLOCATOR=cuda_malloc_async' will improve the situation. 
Current allocation summary follows.
Current allocation summary follows.
2021-08-29 12:45:23.532022: I tensorflow/core/common_runtime/bfc_allocator.cc:1004] BFCAllocator dump for GPU_0_bfc
2021-08-29 12:45:23.532270: I tensorflow/core/common_runtime/bfc_allocator.cc:1011] Bin (256):  Total Chunks: 35, Chunks in use: 35. 8.8KiB allocated for chunks. 8.8KiB in use in bin. 480B client-requested in use in bin.
2021-08-29 12:45:23.532546: I tensorflow/core/common_runtime/bfc_allocator.cc:1011] Bin (512):  Total Chunks: 3, Chunks in use: 3. 1.5KiB allocated for chunks. 1.5KiB in use in bin. 1.5KiB client-requested in use in bin.
...[생략]...
2021-08-29 12:45:23.581168: I tensorflow/core/common_runtime/bfc_allocator.cc:1068] 1 Chunks of size 156800000 totalling 149.54MiB
2021-08-29 12:45:23.581357: I tensorflow/core/common_runtime/bfc_allocator.cc:1072] Sum Total of in-use chunks: 188.12MiB
2021-08-29 12:45:23.581524: I tensorflow/core/common_runtime/bfc_allocator.cc:1074] total_region_allocated_bytes_: 6966018048 memory_limit_: 6966018048 available bytes: 0 curr_region_allocation_bytes_: 13932036096
2021-08-29 12:45:23.581776: I tensorflow/core/common_runtime/bfc_allocator.cc:1080] Stats: 
Limit:                      6966018048
InUse:                       197255168
MaxInUse:                    197255168
NumAllocs:                       37070
MaxAllocSize:                156800000
Reserved:                            0
PeakReserved:                        0
LargestFreeBlock:                    0

2021-08-29 12:45:23.582270: W tensorflow/core/common_runtime/bfc_allocator.cc:468] ***_________________________________________________________________________________________________
Traceback (most recent call last):
...[생략]...
  File "E:\Anaconda3\lib\site-packages\tensorflow\python\framework\constant_op.py", line 106, in convert_to_eager_tensor
    return ops.EagerTensor(value, ctx.device_name, dtype)
tensorflow.python.framework.errors_impl.InternalError: Failed copying input tensor from /job:localhost/replica:0/task:0/device:CPU:0 to /job:localhost/replica:0/task:0/device:GPU:0 in order to run _EagerConst: Dst tensor is not initialized.

Process finished with exit code 1

원인은 메모리 부족일 수 있고, dataset 크기를 줄여서 넣으면 잘 될 것입니다. ^^ 그런데, 경우에 따라 잘못된 차원의 dataset을 넣었을 때도 발생하기도 하므로 "파이썬 tensorflow - ValueError: Shapes (...) and (...) are incompatible"에서처럼 데이터셋이 정상적인 차원을 가지고 있는지 검사할 필요도 있습니다.




참고로, 메시지 중간에 보면 이런 권고 사항이 있는데요,

W tensorflow/core/common_runtime/bfc_allocator.cc:457] Allocator (GPU_0_bfc) ran out of memory trying to allocate 7.48GiB (rounded to 8028160000)requested by op _EagerConst
If the cause is memory fragmentation maybe the environment variable 'TF_GPU_ALLOCATOR=cuda_malloc_async' will improve the situation. 
Current allocation summary follows.

실제로 이것을 설정하고,

os.putenv('TF_GPU_ALLOCATOR', 'cuda_malloc_async')

실행해 봤지만, 다음과 같이 Async allocator를 사용하겠다는 메시지만 나온 후 잠시 후에 비정상 종료를 했습니다.

2021-08-29 13:36:43.083542: I tensorflow/core/platform/cpu_feature_guard.cc:142] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations:  AVX AVX2
To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.
2021-08-29 13:36:43.726382: I tensorflow/core/common_runtime/gpu/gpu_process_state.cc:215] Using CUDA malloc Async allocator for GPU: 0

Process finished with exit code -1073740940 (0xC0000374)

그냥, 메모리 소비를 줄이는 것이 답인 듯합니다. ^^




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 9/2/2021]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 121  122  123  [124]  125  126  127  128  129  130  131  132  133  134  135  ...
NoWriterDateCnt.TitleFile(s)
10914정성태3/8/201629060오류 유형: 322. 정적 라이브러리 참조 시 "LNK2019 unresolved external symbol '...' referenced in function" 오류 발생파일 다운로드1
10913정성태3/7/201628597.NET Framework: 556. C#으로 다루는 MBR(Master Boot Record) [9]파일 다운로드1
10912정성태3/2/201624011.NET Framework: 555. List<T>의 Resize 메서드 구현 [2]파일 다운로드1
10911정성태2/29/201628155Math: 15. 그래프 그리기로 알아보는 뉴턴-랩슨(Newton-Raphson's method)법과 제곱근 구하기 - C#파일 다운로드1
10910정성태2/29/201630539Math: 14. HTML에서 수학 관련 기호/수식을 표현하기 위한 방법 - MathJax.js - 두 번째 이야기 [5]
10909정성태2/25/201628896기타: 56. ETW provider 목록 [3]
10908정성태2/25/201624843기타: 55. ETW man 파일 목록
10907정성태2/24/201624737.NET Framework: 554. 인터프리터 - 재귀적 하향 구문 분석 C# 예제파일 다운로드1
10906정성태2/24/201621434.NET Framework: 553. C# 관리 코드에서 IMetaDataDispenserEx, IMetaDataImport 관련 인터페이스를 얻는 방법파일 다운로드1
10905정성태2/24/201625244오류 유형: 321. Hyper-V The operation failed with error code '32791'.
10904정성태2/23/201623303.NET Framework: 552. 인터프리터 - 역폴란드 표기법을 이용한 식의 분석 - C# 예제파일 다운로드1
10903정성태2/22/201623639.NET Framework: 551. 인터프리터 어휘 분석 프로그램 - C# 예제파일 다운로드1
10902정성태2/22/201623688.NET Framework: 550. GetFunctionPointer 호출 시 System.InvalidProgramException 예외 발생
10901정성태2/20/201627432.NET Framework: 549. ContextBoundObject 상속 클래스와 System.Reflection.ReflectionTypeLoadException 예외 [4]파일 다운로드1
10900정성태2/19/201626271.NET Framework: 548. Linq는 결국 메서드 호출! [3]파일 다운로드1
10899정성태2/17/201627576개발 환경 구성: 282. kernel32.dll, kernel32legacy.dll, api-ms-win-core-sysinfo-l1-2-0.dll [1]
10898정성태2/17/201625525.NET Framework: 547. PerformanceCounter의 InstanceName 지정 시 주의 사항파일 다운로드1
10897정성태2/17/201625299디버깅 기술: 76. windbg 분석 사례 - 닷넷 프로파일러의 GC 콜백 부하
10896정성태2/17/201625258오류 유형: 320. FATAL: 28000: no pg_hba.conf entry for host "fe80::1970:8120:695:a41e%12"
10895정성태2/17/201624346.NET Framework: 546. System.AppDomain으로부터 .NET Profiler의 AppDomainID 구하는 방법 [1]
10894정성태2/17/201624064오류 유형: 319. Visual Studio에서 찾기는 성공하지만 해당 소스 코드 정보가 보이지 않는 경우
10893정성태2/16/201623485.NET Framework: 545. 닷넷 - 특정 클래스가 로드되었는지 여부를 알 수 있을까? - 두 번째 이야기
10892정성태2/16/201623612오류 유형: 318. 탐색기에서 폴더 생성/삭제 시 몇 초 동안 멈추는 현상
10891정성태2/16/201627517VC++: 95. 내 CPU가 MPX/SGX를 지원할까요? [1]
10890정성태2/15/201626102.NET Framework: 544. C# 5의 Caller Info를 .NET 4.5 미만의 응용 프로그램에 적용하는 방법 [5]
10889정성태2/14/201623336.NET Framework: 543. C++의 inline asm 사용을 .NET으로 포팅하는 방법 - 두 번째 이야기파일 다운로드1
... 121  122  123  [124]  125  126  127  128  129  130  131  132  133  134  135  ...