tensorflow shuffle buffer_size

https://www.tensorflow.org/api_docs/python/tf/data/Dataset#shuffle

tf.data.Dataset  |  TensorFlow Core v2.9.1

https://helloyjam.github.io/tensorflow/buffer-size-in-shuffle/

shuffle()에서 buffer_size의 중요성

문서를 보면 shuffle의 buffer_size를 전체 데이터 크기 보다 같거나 크게 해야지

전체가 잘 섞인다고 하는듯하고

그보다 적게하면 예를 들어 100크기의 데이터에서 buffer_size를 10개 했을때

첫번째 10개만 buffer에 넣어서 랜덤하게 섞어준다는 설명을 하는것 같지만.

 

실제로 tensorflow 2.7.0 버전 기준으로

80크기의 데이터에서 buffer_size를 10을 넣든 20을 넣든 80을 넣든 100을 넣든.

전체 데이터 갯수 80개가 buffer로 들어가 섞여버린다.

그냥 buffer_size를 뭘넣든간에 buffer_size가 데이터의 크기로 변환되버리는 것 같다.

어처구니 없다.