Неверный запрос при использовании протокола s3a в ведрах s3 V4

Я пытаюсь скачать файлы из ведра s3 во Франкфурте.

Первоначально с этой проблемой столкнулся в Spark 2.2.1 с hadoop 2.7.5.

Я получил это сообщение:

com.amazonaws.services.s3.model.AmazonS3Exception: Status Code: 400, AWS Service: Amazon S3, AWS Request ID: F6EB301E99C9BC7A, AWS Error Code: null, AWS Error Message: Bad Request, S3 Extended Request ID:

параметр

       sc.hadoopConfiguration.set("fs.s3a.endpoint", "s3.eu-central-1.amazonaws.com")

Ничего не изменил.

работает ./hadoop-2.7.5/bin/hadoop fs -ls s3a://frankfurt-bucket-name возвращает точно такую ​​же ошибку.

это мой core-site.xml

<configuration>
<property>
  <name>fs.s3a.endpoint</name>
  <value>s3.eu-central-1.amazonaws.com</value>
</property>
</configuration>

Как я могу заставить hadoop использовать подпись V4?