S3fs的详细介绍请参见：https://github.com/s3fs-fuse/s3fs-fuse

Kubernetes pod 中使用S3FS架构图：

前提条件：

1. kubernetes集群已搭建完成。

2. Worker节点具有相关权限，例如操作S3的权限。

实施过程：

1. 将S3FS代码下载到kubectl可以与kubernetes主节点交互的机器上：

#Git 克隆https://github.com/freegroup/kube-s3.git

2.如果该节点未安装aws cli，请按照以下文档安装：

https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/cli-chap-install.html

3.构建镜像仓库（如果有的话使用现有的）

一个。可以根据这个文档创建一个仓库：

https://docs.aws.amazon.com/zh_cn/AmazonECR/latest/userguide/ECR_GetStarted.html

b.使用以下命令登录镜像仓库：

$aws ecr get-login --no-include-email --region 区域返回类似的结果：

Docker登录-u AWS -P EYJWYXLSB2FKIJO5MTNIQUERVKDNZMHVTS9jdfjumwnjk05yvTFRPCWLTMW1KWXDDDLOAETNL3MVOWELGRGRGRGRGRGRGRGRGRGRGryzbxm XDHBDLCANJKTKTKTKVRNGVVR5QLDHznnhl3u0NYTQVVZOMZKVN3HWTHFML0IXSVP 0 AK1TBK4VRVFXZ3RZGWSEHHR2LCBM1EXJUQZVHQW5KU1M4TZB Askdieedgzwp3foz2F2F2TTHZBXDMCFU2CWDHM3FUZMN2N0TLEG1ys00RNE90VL R5DDBHNUDDDDMLVATSLZURWLVICXVRZKNWQKNWQKN N5QTGVOG5T ZW8W8RIKZLIQ1N2QLBKSG02VWZWZ3BYUM82ZK1WexcrD25VKJWDHL6YMO1ZKHKBKBKBKFNZHOYVZHYVDLRRWWREU1H a1ZKZM4RRLBANWXDSKNIVULVTUFWUXZQEU5SY3AY3AYTMNVZXQ0pjcgu0T3H2EEI YYWXL HDNZCWGFZWG8WL3HZBKXWR2C5DZI0UKNVDWHYAVPWDLHFTG5VEHNPSMRK YDFQ4KZGZTHJOT3E0CKZBEDGRVGHYTNPMYXDRKZFUSMPJEMJGEEPNPNWHSS Q3v0cjvyq3djt1nmytdlc3jwcg8vv0jawwh2z05OBHL0AL0AL0AWH1 B1pymc TNL0roz3HobulybnzlxZSVNS0TYMNS0TJVRZRZRZRZRZRZRZRZRZRZRBZRZRBZRBZRBZRZRBZRBZRBZRBZRBZRBZRZRBZRBZRZRBZRBZRBZRBZRBPLZRZRZRBZRBZRBPLZRZMNMZMZMZMZMZMZMNMZMZMZ MZMZMZMZMNMZMZMZMNMZMZMNMZMZMZMZMZMZRZRZRZRZRZRZRZRZMN C2M5ES94DJJCXZSYSYSXH2OL3EUUZADFQWHVWUMOWUMOWTVKWERWU3H XEVZ5MTMTMTMTMTVHYB0T0EHHHVPSIMRHDGFRZXKIOJBUUVCQUHOD 20WWWFJU0PL pjahzjtkfry0DVRZH3YLFJKFEQM9CZ2TXAGTPRZL3Mejcd0v3SgdzslljwklBV1VEQKFFFXDKQVJS0E2ACTSB1FJQKVJNMWBTWBVNWT Dv0ukxnwlnewwww5im1Porhfrt3ryk2jdzxl2yw82wep6Z XDELCCTRYZ05QCWJP RUS5CFRHNGVWVULZUFRNSWJ4SWPSISINNPB24ioiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiIDHLWZSI6IKRBRBRBRBVeffs0vziiwizxhwaxjh dglvbii6mtu2mzq3nzmznx0=https://1549008054.dkr.ecr.us-amazonaws.comc。此命令提供有效期为12 小时的授权令牌

4. 确保您已在集群中创建“imagepullsecret”。

该命令中的用户名密码也在上面的命令中

kubectl create Secret docker-registry artifactory docker-server=YOUR-REGISTRY.docker.repositories.sap.ondemand.com docker-username=USERNAME docker-password=PASSWORD docker-email=EMAIL -n NAMESPACE 示例如下：(这里的密码是上一步返回的)

Kubectl 创建秘密Docker-Registry Artifactory — Docker-Server=154998728054.Dkr.ecr.us-amazonaws.com/Respository — --Docker-Password=DJEWEVZNXZZZZZ 0TFZSYWHOULZK2JZDHK3A0XWTNNXZTIWL2ZGZ1LWAEDLAFN4WJK2WGDRMDGWEXAWV2VNSM9NSXLDT2X5RJB1D0RFC2Z4TDI3VGD5WHDVZMDCZNN hjuu1nt2WRQ25SBE1RTUTXMDVLQK0ZBU9ENXJ3 E2C2P3MUZSTDLIMMNYS29ZQ SM1VBUTEVGVRVRV2LQTZRUWNV3SEI1NWVGDG1veuyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyted2CMDPOGLZQ29SVPUV2NXAEQ4ETJUAJLYUTVLAMNMUT2TDFVFPVDLRC2JK2JKU FM VDZB0Zefuck5bawhjqu56aefnzdzpWMRTQ0Z0B3DMNS9ID0TPMRBJQRLNMQJIYVNLXOXR3UXR3UXR0CS9FZK1PUXLYKXLLTUTCVY ZFGNFBXZ0Z0DFHJVIS0DMVQRWRWRJACNRZMNRUTWM5ZETVK1JVWU02ZDBCOFP ZFHEVHDCURY ZB6MGRIDJDYWPQRunrc1LtnextCW9PDYTLN0TYM3PVTTJSBTL jrsswlavtllbed4zzviy2zloujyzkvrcmyVBRVWXVVM4RC1JZDPC3EVU3JVLBARMH2VMZQLDIL3DPDJNIWKLv043S0vi9TNEPLAXJZZzzz BHU4SLR2YWEYZRYT3FKVXQROHF1 BJIVB3VMMMMMMMMMDVLVXDJ4MLBKM0MOQKRSUPKLZLRTMFTMFTMFTVLRTUJD1WHPCWUQVNGLN29MLZKMITPRGKZU8 5YMYYDM9AY2K0R3NKD3R6WDRAMETTCWXBK205ZTK5A01UZKXML0U1V3FWRVNSC UWTOR0RZU1V2MK2DNBA UC9RB3Hlyzlycdvbtzfequvs9MCWFSQ1ZVUWTUMF A5BUPGUKJZQVJFK2I5QULRYNDC1FZCJHTUJHTURVRUR1DNU1D3 ENKVRTA3ANBIRJVVNULLLANKCVCVM3POUVFXZFNQJARWTDQN3NFK0ROS3ZIU0PQSWNFVMLQQVGRTNU1DDDSMVFYW9 TS0FPPVXB2NEMNZDYTHV VHNN0IVT3DUNVDAUDEADEAZHQEFD6C2M3SK5PQUNDOQS9imjljljsxpjvhgyB1QV 4QKPKBXBCTYTPZ3NUNDKSNVKCGHIUHCTXJIQVDJM0LVZXRITGTFQ2TIB1VORW1PZUV3Q0F5EKRZMRS3HXDVRIRKS1 DVVVYKVRTTZQXG 4V2LMK3DTOU1CRepeewswz3PSNJNMVNBIWLBG01SFQ4U3RCREJVGDQYMELYSFPJAZFDYWTKCFHMVQJOXRIBVFVAGRJM4wwwjuw Vzln2nxyw0rbdjqzxjzyznaywfiq0kwbhdkeejwykxnbjvszdn vw5wov5wov RBTHFA0ZOEWE5LHVQNL1R0MS93DJIRYJFSER4V0ZQZUXAMWHKAHKAHKAHKAHKAHKAHKAHkah VodeFVR0J5NGYYJQ2XMBKLYVMVKCZMSY9MN1DURGVBEG1DOHOHOHOZA3NLONNNNNNSDVUXDNJR1BYM05WR28VDKLBMT0QRUEX1DVL CEUVETXHLS2NU083B3P4WKXQDGJRV1PBEKP0ZTRNSNHRMKKWHZBST0ILCJKYXRHA2V5ijoqvv FIAHDTMFLHSM01bjfhnnwVRWHVVWFFF hqztvrmnlovjxnhdbqufinhdmqvlks29aswh2y05buwnhb0c4d2jrsujbRCWHRAUC5DZBCQND0HNWUPZSVDVNQKVFred95。配置配置映射

a.cd kube-s3/yaml/

并将您的ask 放置在正确的位置，如下所示：

apiVersion: v1kind: ConfigMapmetadata: name: s3-configdata: S3_BUCKET: YOUR-S3-BUCKET-NAME AWS_KEY: YOUR-AWS-TECH-USER-ACCESS-KEY AWS_SECRET_KEY: YOUR-AWS-TECH-USER-SECRET6.构建和部署

一个。修改build.sh文件，添加以下内容：

#替换版本REPOSITORY1=ECR对应的repositoryPROJECT1=kube-s3b。修改Dockerfile，注意红色字体：/usr/bin/s3fs $S3_BUCKET $MNT_POINT -f -o endpoint=${S3_REGION},nonempty,allow_other,use_cache=/tmp, max_stat_cache_size=1000, stat_cache_expire=900，重试=5, connect_timeout=10ENV S3_REGION 'us-east-2' 修改后的整体文件如下：VERSION=$1PROJECT=kube-s3REPOSITORY=154998728054.dkr.ecr.us-east-1。 amazonaws.com#replace versionREPOSITORY1=cp-enablement.docker.repositories.sap.ondemand.comPROJECT1=kube-s3# 如果任何子命令或管道返回非零状态，则导致shell 退出。set -e###### ################################################## ## ################################################ #### ##########构建新的docker镜像################################## ################################################## ################################echo ' Building new image'# 由于Docker 中的一个bug，我们需要分析查看日志以了解构建是否通过（请参阅https://github.com/dotcloud/docker/issues/1875）docker build --no-cache=true -t $REPOSITORY/$PROJECT:$VERSION 。 | tee /tmp/docker_build_result.logRESULT=$(cat /tmp/docker_build_result.log | tail -n 1)if [[ '$RESULT' !=*成功* ]];然后退出-1fi######## ######################################## ################################################## ######## ############ 将docker 镜像推送到您的注册表######################## ################################################ ############################################echo '推送新镜像' docker 推送$ REPOSITORY/$PROJECT:$VERSION############################################ ################################################## ########################## 将YAML 文件部署到kubernetes 集群################ # ################################################## ################################################## kubectl apply -f ./yaml/configmap_secrets.yaml# 应用传递到stdin 的YAML 并替换版本字符串firstcat ./yaml/daemonset.yaml | sed 's/$REPOSITORY1\/$PROJECT1/$REPOSITORY \/$PROJECT:$VERSION/g' | kubectl 应用-f -b。运行以下命令：

./build.sh 1.0c。执行以下命令查看pod是否正常运行

kubectl getpods

7. 创建一个demo pod来验证S3fs是否可以正常工作：

kubectl apply -f ./yaml/example_pod.yamlkubectl get podskubectl exec -ti test-pd shls -la /var/s3 创建文件

8. 在S3和主机中验证该文件是否存在。

注：详情请参考：https://github.com/freegroup/kube-s3

注意

如果对性能有强烈需求，且体验与传统文件系统一致，则此方案不适用。可以考虑使用AWS的EBS来进行Kubernetes的持久化存储。