Question: What is Listing secrets?

Answer: I t   i s   g e n e r a l l y   c l e a r   t h a t   a l l o w i n g   g e t   a c c e s s   o n   S e c r e t s   w i l l   a l l o w   a   u s e r   t o   r e a d   t h e i r   c o n t e n t s .   I t   i s   a l s o   i m p o r t a n t   t o   n o t e   t h a t   l i s t   a n d   w a t c h   a c c e s s   a l s o   e f f e c t i v e l y   a l l o w   f o r   u s e r s   t o   r e v e a l   t h e   S e c r e t   c o n t e n t s .   F o r   e x a m p l e ,   w h e n   a   L i s t   r e s p o n s e   i s   r e t u r n e d   ( f o r   e x a m p l e ,   v i a   k u b e c t l   g e t   s e c r e t s   - A   - o   y a m l ) ,   t h e   r e s p o n s e   i n c l u d e s   t h e   c o n t e n t s   o f   a l l   S e c r e t s .


Question: What is Workload creation?

Answer: P e r m i s s i o n   t o   c r e a t e   w o r k l o a d s   ( e i t h e r   P o d s ,   o r   w o r k l o a d   r e s o u r c e s   t h a t   m a n a g e   P o d s )   i n   a   n a m e s p a c e   i m p l i c i t l y   g r a n t s   a c c e s s   t o   m a n y   o t h e r   r e s o u r c e s   i n   t h a t   n a m e s p a c e ,   s u c h   a s   S e c r e t s ,   C o n f i g M a p s ,   a n d   P e r s i s t e n t V o l u m e s   t h a t   c a n   b e   m o u n t e d   i n   P o d s .   A d d i t i o n a l l y ,   s i n c e   P o d s   c a n   r u n   a s   a n y   S e r v i c e A c c o u n t ,   g r a n t i n g   p e r m i s s i o n   t o   c r e a t e   w o r k l o a d s   a l s o   i m p l i c i t l y   g r a n t s   t h e   A P I   a c c e s s   l e v e l s   o f   a n y   s e r v i c e   a c c o u n t   i n   t h a t   n a m e s p a c e .   U s e r s   w h o   c a n   r u n   p r i v i l e g e d   P o d s   c a n   u s e   t h a t   a c c e s s   t o   g a i n   n o d e   a c c e s s   a n d   p o t e n t i a l l y   t o   f u r t h e r   e l e v a t e   t h e i r   p r i v i l e g e s .   W h e r e   y o u   d o   n o t   f u l l y   t r u s t   a   u s e r   o r   o t h e r   p r i n c i p a l   w i t h   t h e   a b i l i t y   t o   c r e a t e   s u i t a b l y   s e c u r e   a n d   i s o l a t e d   P o d s ,   y o u   s h o u l d   e n f o r c e   e i t h e r   t h e   B a s e l i n e   o r   R e s t r i c t e d   P o d   S e c u r i t y   S t a n d a r d .   Y o u   c a n   u s e   P o d   S e c u r i t y   a d m i s s i o n   o r   o t h e r   ( t h i r d   p a r t y )   m e c h a n i s m s   t o   i m p l e m e n t   t h a t   e n f o r c e m e n t .   F o r   t h e s e   r e a s o n s ,   n a m e s p a c e s   s h o u l d   b e   u s e d   t o   s e p a r a t e   r e s o u r c e s   r e q u i r i n g   d i f f e r e n t   l e v e l s   o f   t r u s t   o r   t e n a n c y .   I t   i s   s t i l l   c o n s i d e r e d   b e s t   p r a c t i


Question: What is Persistent volume creation?

Answer: I f   s o m e o n e   -   o r   s o m e   a p p l i c a t i o n   -   i s   a l l o w e d   t o   c r e a t e   a r b i t r a r y   P e r s i s t e n t V o l u m e s ,   t h a t   a c c e s s   i n c l u d e s   t h e   c r e a t i o n   o f   h o s t P a t h   v o l u m e s ,   w h i c h   t h e n   m e a n s   t h a t   a   P o d   w o u l d   g e t   a c c e s s   t o   t h e   u n d e r l y i n g   h o s t   f i l e s y s t e m ( s )   o n   t h e   a s s o c i a t e d   n o d e .   G r a n t i n g   t h a t   a b i l i t y   i s   a   s e c u r i t y   r i s k .   T h e r e   a r e   m a n y   w a y s   a   c o n t a i n e r   w i t h   u n r e s t r i c t e d   a c c e s s   t o   t h e   h o s t   f i l e s y s t e m   c a n   e s c a l a t e   p r i v i l e g e s ,   i n c l u d i n g   r e a d i n g   d a t a   f r o m   o t h e r   c o n t a i n e r s ,   a n d   a b u s i n g   t h e   c r e d e n t i a l s   o f   s y s t e m   s e r v i c e s ,   s u c h   a s   K u b e l e t .   Y o u   s h o u l d   o n l y   a l l o w   a c c e s s   t o   c r e a t e   P e r s i s t e n t V o l u m e   o b j e c t s   f o r :   U s e r s   ( c l u s t e r   o p e r a t o r s )   t h a t   n e e d   t h i s   a c c e s s   f o r   t h e i r   w o r k ,   a n d   w h o   y o u   t r u s t . T h e   K u b e r n e t e s   c o n t r o l   p l a n e   c o m p o n e n t s   w h i c h   c r e a t e s   P e r s i s t e n t V o l u m e s   b a s e d   o n   P e r s i s t e n t V o l u m e C l a i m s   t h a t   a r e   c o n f i g u r e d   f o r   a u t o m a t i c   p r o v i s i o n i n g .   T h i s   i s   u s u a l l y   s e t u p   b y   t h e   K u b e r n e t e s   p r o v i d e r   o r   b y   t h e   o p e r a t o r   w h e n   i n s t a l l i n g   a   C S I   d r i v e r .   W h e r e   a c c e s s   t o   p e r s i s t e n t   s t o r a g e   i s   r e q u i r e d   t r u s t e d   a d m i n i s t r a t o r s   s h o u l d   c r e a t e   P e r s i s t e n t V


Question: What is Access to proxy subresource of Nodes?

Answer: U s e r s   w i t h   a c c e s s   t o   t h e   p r o x y   s u b - r e s o u r c e   o f   n o d e   o b j e c t s   h a v e   r i g h t s   t o   t h e   K u b e l e t   A P I ,   w h i c h   a l l o w s   f o r   c o m m a n d   e x e c u t i o n   o n   e v e r y   p o d   o n   t h e   n o d e ( s )   t o   w h i c h   t h e y   h a v e   r i g h t s .   T h i s   a c c e s s   b y p a s s e s   a u d i t   l o g g i n g   a n d   a d m i s s i o n   c o n t r o l ,   s o   c a r e   s h o u l d   b e   t a k e n   b e f o r e   g r a n t i n g   r i g h t s   t o   t h i s   r e s o u r c e .


Question: What is Escalate verb?

Answer: G e n e r a l l y ,   t h e   R B A C   s y s t e m   p r e v e n t s   u s e r s   f r o m   c r e a t i n g   c l u s t e r r o l e s   w i t h   m o r e   r i g h t s   t h a n   t h e   u s e r   p o s s e s s e s .   T h e   e x c e p t i o n   t o   t h i s   i s   t h e   e s c a l a t e   v e r b .   A s   n o t e d   i n   t h e   R B A C   d o c u m e n t a t i o n ,   u s e r s   w i t h   t h i s   r i g h t   c a n   e f f e c t i v e l y   e s c a l a t e   t h e i r   p r i v i l e g e s .


Question: What is Bind verb?

Answer: S i m i l a r   t o   t h e   e s c a l a t e   v e r b ,   g r a n t i n g   u s e r s   t h i s   r i g h t   a l l o w s   f o r   t h e   b y p a s s   o f   K u b e r n e t e s   i n - b u i l t   p r o t e c t i o n s   a g a i n s t   p r i v i l e g e   e s c a l a t i o n ,   a l l o w i n g   u s e r s   t o   c r e a t e   b i n d i n g s   t o   r o l e s   w i t h   r i g h t s   t h e y   d o   n o t   a l r e a d y   h a v e .


Question: What is Impersonate verb?

Answer: T h i s   v e r b   a l l o w s   u s e r s   t o   i m p e r s o n a t e   a n d   g a i n   t h e   r i g h t s   o f   o t h e r   u s e r s   i n   t h e   c l u s t e r .   C a r e   s h o u l d   b e   t a k e n   w h e n   g r a n t i n g   i t ,   t o   e n s u r e   t h a t   e x c e s s i v e   p e r m i s s i o n s   c a n n o t   b e   g a i n e d   v i a   o n e   o f   t h e   i m p e r s o n a t e d   a c c o u n t s .


Question: What is CSRs and certificate issuing?

Answer: T h e   C S R   A P I   a l l o w s   f o r   u s e r s   w i t h   c r e a t e   r i g h t s   t o   C S R s   a n d   u p d a t e   r i g h t s   o n   c e r t i f i c a t e s i g n i n g r e q u e s t s / a p p r o v a l   w h e r e   t h e   s i g n e r   i s   k u b e r n e t e s . i o / k u b e - a p i s e r v e r - c l i e n t   t o   c r e a t e   n e w   c l i e n t   c e r t i f i c a t e s   w h i c h   a l l o w   u s e r s   t o   a u t h e n t i c a t e   t o   t h e   c l u s t e r .   T h o s e   c l i e n t   c e r t i f i c a t e s   c a n   h a v e   a r b i t r a r y   n a m e s   i n c l u d i n g   d u p l i c a t e s   o f   K u b e r n e t e s   s y s t e m   c o m p o n e n t s .   T h i s   w i l l   e f f e c t i v e l y   a l l o w   f o r   p r i v i l e g e   e s c a l a t i o n .


Question: What is Token request?

Answer: U s e r s   w i t h   c r e a t e   r i g h t s   o n   s e r v i c e a c c o u n t s / t o k e n   c a n   c r e a t e   T o k e n R e q u e s t s   t o   i s s u e   t o k e n s   f o r   e x i s t i n g   s e r v i c e   a c c o u n t s .


Question: What is Control admission webhooks?

Answer: U s e r s   w i t h   c o n t r o l   o v e r   v a l i d a t i n g w e b h o o k c o n f i g u r a t i o n s   o r   m u t a t i n g w e b h o o k c o n f i g u r a t i o n s   c a n   c o n t r o l   w e b h o o k s   t h a t   c a n   r e a d   a n y   o b j e c t   a d m i t t e d   t o   t h e   c l u s t e r ,   a n d   i n   t h e   c a s e   o f   m u t a t i n g   w e b h o o k s ,   a l s o   m u t a t e   a d m i t t e d   o b j e c t s .


Question: What is Namespace modification?

Answer: U s e r s   w h o   c a n   p e r f o r m   p a t c h   o p e r a t i o n s   o n   N a m e s p a c e   o b j e c t s   ( t h r o u g h   a   n a m e s p a c e d   R o l e B i n d i n g   t o   a   R o l e   w i t h   t h a t   a c c e s s )   c a n   m o d i f y   l a b e l s   o n   t h a t   n a m e s p a c e .   I n   c l u s t e r s   w h e r e   P o d   S e c u r i t y   A d m i s s i o n   i s   u s e d ,   t h i s   m a y   a l l o w   a   u s e r   t o   c o n f i g u r e   t h e   n a m e s p a c e   f o r   a   m o r e   p e r m i s s i v e   p o l i c y   t h a n   i n t e n d e d   b y   t h e   a d m i n i s t r a t o r s .   F o r   c l u s t e r s   w h e r e   N e t w o r k P o l i c y   i s   u s e d ,   u s e r s   m a y   b e   s e t   l a b e l s   t h a t   i n d i r e c t l y   a l l o w   a c c e s s   t o   s e r v i c e s   t h a t   a n   a d m i n i s t r a t o r   d i d   n o t   i n t e n d   t o   a l l o w .


Question: What is Object creation denial-of-service?

Answer: U s e r s   w h o   h a v e   r i g h t s   t o   c r e a t e   o b j e c t s   i n   a   c l u s t e r   m a y   b e   a b l e   t o   c r e a t e   s u f f i c i e n t   l a r g e   o b j e c t s   t o   c r e a t e   a   d e n i a l   o f   s e r v i c e   c o n d i t i o n   e i t h e r   b a s e d   o n   t h e   s i z e   o r   n u m b e r   o f   o b j e c t s ,   a s   d i s c u s s e d   i n   e t c d   u s e d   b y   K u b e r n e t e s   i s   v u l n e r a b l e   t o   O O M   a t t a c k .   T h i s   m a y   b e   s p e c i f i c a l l y   r e l e v a n t   i n   m u l t i - t e n a n t   c l u s t e r s   i f   s e m i - t r u s t e d   o r   u n t r u s t e d   u s e r s   a r e   a l l o w e d   l i m i t e d   a c c e s s   t o   a   s y s t e m .   O n e   o p t i o n   f o r   m i t i g a t i o n   o f   t h i s   i s s u e   w o u l d   b e   t o   u s e   r e s o u r c e   q u o t a s   t o   l i m i t   t h e   q u a n t i t y   o f   o b j e c t s   w h i c h   c a n   b e   c r e a t e d .


Question: What is What's next?

Answer: T o   l e a r n   m o r e   a b o u t   R B A C ,   s e e   t h e   R B A C   d o c u m e n t a t i o n .


Question: What is 10 - Good practices for Kubernetes Secrets?

Answer: I n   K u b e r n e t e s ,   a   S e c r e t   i s   a n   o b j e c t   t h a t   s t o r e s   s e n s i t i v e   i n f o r m a t i o n ,   s u c h   a s   p a s s w o r d s ,   O A u t h   t o k e n s ,   a n d   S S H   k e y s .   I n   K u b e r n e t e s ,   a   S e c r e t   i s   a n   o b j e c t   t h a t   s t o r e s   s e n s i t i v e   i n f o r m a t i o n ,   s u c h   a s   p a s s w o r d s ,   O A u t h   t o k e n s ,   a n d   S S H   k e y s .   S e c r e t s   g i v e   y o u   m o r e   c o n t r o l   o v e r   h o w   s e n s i t i v e   i n f o r m a t i o n   i s   u s e d   a n d   r e d u c e s   t h e   r i s k   o f   a c c i d e n t a l   e x p o s u r e .   S e c r e t   v a l u e s   a r e   e n c o d e d   a s   b a s e 6 4   s t r i n g s   a n d   a r e   s t o r e d   u n e n c r y p t e d   b y   d e f a u l t ,   b u t   c a n   b e   c o n f i g u r e d   t o   b e   e n c r y p t e d   a t   r e s t .   A   P o d   c a n   r e f e r e n c e   t h e   S e c r e t   i n   a   v a r i e t y   o f   w a y s ,   s u c h   a s   i n   a   v o l u m e   m o u n t   o r   a s   a n   e n v i r o n m e n t   v a r i a b l e .   S e c r e t s   a r e   d e s i g n e d   f o r   c o n f i d e n t i a l   d a t a   a n d   C o n f i g M a p s   a r e   d e s i g n e d   f o r   n o n - c o n f i d e n t i a l   d a t a .   T h e   f o l l o w i n g   g o o d   p r a c t i c e s   a r e   i n t e n d e d   f o r   b o t h   c l u s t e r   a d m i n i s t r a t o r s   a n d   a p p l i c a t i o n   d e v e l o p e r s .   U s e   t h e s e   g u i d e l i n e s   t o   i m p r o v e   t h e   s e c u r i t y   o f   y o u r   s e n s i t i v e   i n f o r m a t i o n   i n   S e c r e t   o b j e c t s ,   a s   w e l l   a s   t o   m o r e   e f f e c t i v e l y   m a n a g e   y o u r   S e c r e t s .


Question: What is Cluster administrators?

Answer: T h i s   s e c t i o n   p r o v i d e s   g o o d   p r a c t i c e s   t h a t   c l u s t e r   a d m i n i s t r a t o r s   c a n   u s e   t o   i m p r o v e   t h e   s e c u r i t y   o f   c o n f i d e n t i a l   i n f o r m a t i o n   i n   t h e   c l u s t e r .


Question: What is Configure encryption at rest?

Answer: B y   d e f a u l t ,   S e c r e t   o b j e c t s   a r e   s t o r e d   u n e n c r y p t e d   i n   e t c d .   Y o u   s h o u l d   c o n f i g u r e   e n c r y p t i o n   o f   y o u r   S e c r e t   d a t a   i n   e t c d .   F o r   i n s t r u c t i o n s ,   r e f e r   t o   E n c r y p t   S e c r e t   D a t a   a t   R e s t .


Question: What is Configure least-privilege access to Secrets?

Answer: W h e n   p l a n n i n g   y o u r   a c c e s s   c o n t r o l   m e c h a n i s m ,   s u c h   a s   K u b e r n e t e s   R o l e - b a s e d   A c c e s s   C o n t r o l   ( R B A C ) ,   c o n s i d e r   t h e   f o l l o w i n g   g u i d e l i n e s   f o r   a c c e s s   t o   S e c r e t   o b j e c t s .   Y o u   s h o u l d   a l s o   f o l l o w   t h e   o t h e r   g u i d e l i n e s   i n   R B A C   g o o d   p r a c t i c e s .   C o m p o n e n t s :   R e s t r i c t   w a t c h   o r   l i s t   a c c e s s   t o   o n l y   t h e   m o s t   p r i v i l e g e d ,   s y s t e m - l e v e l   c o m p o n e n t s .   O n l y   g r a n t   g e t   a c c e s s   f o r   S e c r e t s   i f   t h e   c o m p o n e n t ' s   n o r m a l   b e h a v i o r   r e q u i r e s   i t . H u m a n s :   R e s t r i c t   g e t ,   w a t c h ,   o r   l i s t   a c c e s s   t o   S e c r e t s .   O n l y   a l l o w   c l u s t e r   a d m i n i s t r a t o r s   t o   a c c e s s   e t c d .   T h i s   i n c l u d e s   r e a d - o n l y   a c c e s s .   F o r   m o r e   c o m p l e x   a c c e s s   c o n t r o l ,   s u c h   a s   r e s t r i c t i n g   a c c e s s   t o   S e c r e t s   w i t h   s p e c i f i c   a n n o t a t i o n s ,   c o n s i d e r   u s i n g   t h i r d - p a r t y   a u t h o r i z a t i o n   m e c h a n i s m s .


Question: What is Caution:?

Answer: A   u s e r   w h o   c a n   c r e a t e   a   P o d   t h a t   u s e s   a   S e c r e t   c a n   a l s o   s e e   t h e   v a l u e   o f   t h a t   S e c r e t .   E v e n   i f   c l u s t e r   p o l i c i e s   d o   n o t   a l l o w   a   u s e r   t o   r e a d   t h e   S e c r e t   d i r e c t l y ,   t h e   s a m e   u s e r   c o u l d   h a v e   a c c e s s   t o   r u n   a   P o d   t h a t   t h e n   e x p o s e s   t h e   S e c r e t .   Y o u   c a n   d e t e c t   o r   l i m i t   t h e   i m p a c t   c a u s e d   b y   S e c r e t   d a t a   b e i n g   e x p o s e d ,   e i t h e r   i n t e n t i o n a l l y   o r   u n i n t e n t i o n a l l y ,   b y   a   u s e r   w i t h   t h i s   a c c e s s .   S o m e   r e c o m m e n d a t i o n s   i n c l u d e :   U s e   s h o r t - l i v e d   S e c r e t s I m p l e m e n t   a u d i t   r u l e s   t h a t   a l e r t   o n   s p e c i f i c   e v e n t s ,   s u c h   a s   c o n c u r r e n t   r e a d i n g   o f   m u l t i p l e   S e c r e t s   b y   a   s i n g l e   u s e r


Question: What is Restrict Access for Secrets?

Answer: U s e   s e p a r a t e   n a m e s p a c e s   t o   i s o l a t e   a c c e s s   t o   m o u n t e d   s e c r e t s .


Question: What is Improve etcd management policies?

Answer: C o n s i d e r   w i p i n g   o r   s h r e d d i n g   t h e   d u r a b l e   s t o r a g e   u s e d   b y   e t c d   o n c e   i t   i s   n o   l o n g e r   i n   u s e .   I f   t h e r e   a r e   m u l t i p l e   e t c d   i n s t a n c e s ,   c o n f i g u r e   e n c r y p t e d   S S L / T L S   c o m m u n i c a t i o n   b e t w e e n   t h e   i n s t a n c e s   t o   p r o t e c t   t h e   S e c r e t   d a t a   i n   t r a n s i t .


Question: What is Configure access to external Secrets?

Answer: Y o u   c a n   u s e   t h i r d - p a r t y   S e c r e t s   s t o r e   p r o v i d e r s   t o   k e e p   y o u r   c o n f i d e n t i a l   d a t a   o u t s i d e   y o u r   c l u s t e r   a n d   t h e n   c o n f i g u r e   P o d s   t o   a c c e s s   t h a t   i n f o r m a t i o n .   T h e   K u b e r n e t e s   S e c r e t s   S t o r e   C S I   D r i v e r   i s   a   D a e m o n S e t   t h a t   l e t s   t h e   k u b e l e t   r e t r i e v e   S e c r e t s   f r o m   e x t e r n a l   s t o r e s ,   a n d   m o u n t   t h e   S e c r e t s   a s   a   v o l u m e   i n t o   s p e c i f i c   P o d s   t h a t   y o u   a u t h o r i z e   t o   a c c e s s   t h e   d a t a .   F o r   a   l i s t   o f   s u p p o r t e d   p r o v i d e r s ,   r e f e r   t o   P r o v i d e r s   f o r   t h e   S e c r e t   S t o r e   C S I   D r i v e r .


Question: What is Good practices for using swap memory?

Answer: F o r   b e s t   p r a c t i c e s   f o r   s e t t i n g   s w a p   m e m o r y   f o r   L i n u x   n o d e s ,   p l e a s e   r e f e r   t o   s w a p   m e m o r y   m a n a g e m e n t .


Question: What is Developers?

Answer: T h i s   s e c t i o n   p r o v i d e s   g o o d   p r a c t i c e s   f o r   d e v e l o p e r s   t o   u s e   t o   i m p r o v e   t h e   s e c u r i t y   o f   c o n f i d e n t i a l   d a t a   w h e n   b u i l d i n g   a n d   d e p l o y i n g   K u b e r n e t e s   r e s o u r c e s .


Question: What is Restrict Secret access to specific containers?

Answer: I f   y o u   a r e   d e f i n i n g   m u l t i p l e   c o n t a i n e r s   i n   a   P o d ,   a n d   o n l y   o n e   o f   t h o s e   c o n t a i n e r s   n e e d s   a c c e s s   t o   a   S e c r e t ,   d e f i n e   t h e   v o l u m e   m o u n t   o r   e n v i r o n m e n t   v a r i a b l e   c o n f i g u r a t i o n   s o   t h a t   t h e   o t h e r   c o n t a i n e r s   d o   n o t   h a v e   a c c e s s   t o   t h a t   S e c r e t .


Question: What is Protect Secret data after reading?

Answer: A p p l i c a t i o n s   s t i l l   n e e d   t o   p r o t e c t   t h e   v a l u e   o f   c o n f i d e n t i a l   i n f o r m a t i o n   a f t e r   r e a d i n g   i t   f r o m   a n   e n v i r o n m e n t   v a r i a b l e   o r   v o l u m e .   F o r   e x a m p l e ,   y o u r   a p p l i c a t i o n   m u s t   a v o i d   l o g g i n g   t h e   s e c r e t   d a t a   i n   t h e   c l e a r   o r   t r a n s m i t t i n g   i t   t o   a n   u n t r u s t e d   p a r t y .


Question: What is Avoid sharing Secret manifests?

Answer: I f   y o u   c o n f i g u r e   a   S e c r e t   t h r o u g h   a   m a n i f e s t ,   w i t h   t h e   s e c r e t   d a t a   e n c o d e d   a s   b a s e 6 4 ,   s h a r i n g   t h i s   f i l e   o r   c h e c k i n g   i t   i n   t o   a   s o u r c e   r e p o s i t o r y   m e a n s   t h e   s e c r e t   i s   a v a i l a b l e   t o   e v e r y o n e   w h o   c a n   r e a d   t h e   m a n i f e s t .


Question: What is 11 - Multi-tenancy?

Answer: T h i s   p a g e   p r o v i d e s   a n   o v e r v i e w   o f   a v a i l a b l e   c o n f i g u r a t i o n   o p t i o n s   a n d   b e s t   p r a c t i c e s   f o r   c l u s t e r   m u l t i - t e n a n c y .   S h a r i n g   c l u s t e r s   s a v e s   c o s t s   a n d   s i m p l i f i e s   a d m i n i s t r a t i o n .   H o w e v e r ,   s h a r i n g   c l u s t e r s   a l s o   p r e s e n t s   c h a l l e n g e s   s u c h   a s   s e c u r i t y ,   f a i r n e s s ,   a n d   m a n a g i n g   n o i s y   n e i g h b o r s .   C l u s t e r s   c a n   b e   s h a r e d   i n   m a n y   w a y s .   I n   s o m e   c a s e s ,   d i f f e r e n t   a p p l i c a t i o n s   m a y   r u n   i n   t h e   s a m e   c l u s t e r .   I n   o t h e r   c a s e s ,   m u l t i p l e   i n s t a n c e s   o f   t h e   s a m e   a p p l i c a t i o n   m a y   r u n   i n   t h e   s a m e   c l u s t e r ,   o n e   f o r   e a c h   e n d   u s e r .   A l l   t h e s e   t y p e s   o f   s h a r i n g   a r e   f r e q u e n t l y   d e s c r i b e d   u s i n g   t h e   u m b r e l l a   t e r m   m u l t i - t e n a n c y .   W h i l e   K u b e r n e t e s   d o e s   n o t   h a v e   f i r s t - c l a s s   c o n c e p t s   o f   e n d   u s e r s   o r   t e n a n t s ,   i t   p r o v i d e s   s e v e r a l   f e a t u r e s   t o   h e l p   m a n a g e   d i f f e r e n t   t e n a n c y   r e q u i r e m e n t s .   T h e s e   a r e   d i s c u s s e d   b e l o w .


Question: What is Use cases?

Answer: T h e   f i r s t   s t e p   t o   d e t e r m i n i n g   h o w   t o   s h a r e   y o u r   c l u s t e r   i s   u n d e r s t a n d i n g   y o u r   u s e   c a s e ,   s o   y o u   c a n   e v a l u a t e   t h e   p a t t e r n s   a n d   t o o l s   a v a i l a b l e .   I n   g e n e r a l ,   m u l t i - t e n a n c y   i n   K u b e r n e t e s   c l u s t e r s   f a l l s   i n t o   t w o   b r o a d   c a t e g o r i e s ,   t h o u g h   m a n y   v a r i a t i o n s   a n d   h y b r i d s   a r e   a l s o   p o s s i b l e .


Question: What is Multiple teams?

Answer: A   c o m m o n   f o r m   o f   m u l t i - t e n a n c y   i s   t o   s h a r e   a   c l u s t e r   b e t w e e n   m u l t i p l e   t e a m s   w i t h i n   a n   o r g a n i z a t i o n ,   e a c h   o f   w h o m   m a y   o p e r a t e   o n e   o r   m o r e   w o r k l o a d s .   T h e s e   w o r k l o a d s   f r e q u e n t l y   n e e d   t o   c o m m u n i c a t e   w i t h   e a c h   o t h e r ,   a n d   w i t h   o t h e r   w o r k l o a d s   l o c a t e d   o n   t h e   s a m e   o r   d i f f e r e n t   c l u s t e r s .   I n   t h i s   s c e n a r i o ,   m e m b e r s   o f   t h e   t e a m s   o f t e n   h a v e   d i r e c t   a c c e s s   t o   K u b e r n e t e s   r e s o u r c e s   v i a   t o o l s   s u c h   a s   k u b e c t l ,   o r   i n d i r e c t   a c c e s s   t h r o u g h   G i t O p s   c o n t r o l l e r s   o r   o t h e r   t y p e s   o f   r e l e a s e   a u t o m a t i o n   t o o l s .   T h e r e   i s   o f t e n   s o m e   l e v e l   o f   t r u s t   b e t w e e n   m e m b e r s   o f   d i f f e r e n t   t e a m s ,   b u t   K u b e r n e t e s   p o l i c i e s   s u c h   a s   R B A C ,   q u o t a s ,   a n d   n e t w o r k   p o l i c i e s   a r e   e s s e n t i a l   t o   s a f e l y   a n d   f a i r l y   s h a r e   c l u s t e r s .


Question: What is Multiple customers?

Answer: T h e   o t h e r   m a j o r   f o r m   o f   m u l t i - t e n a n c y   f r e q u e n t l y   i n v o l v e s   a   S o f t w a r e - a s - a - S e r v i c e   ( S a a S )   v e n d o r   r u n n i n g   m u l t i p l e   i n s t a n c e s   o f   a   w o r k l o a d   f o r   c u s t o m e r s .   T h i s   b u s i n e s s   m o d e l   i s   s o   s t r o n g l y   a s s o c i a t e d   w i t h   t h i s   d e p l o y m e n t   s t y l e   t h a t   m a n y   p e o p l e   c a l l   i t   " S a a S   t e n a n c y . "   H o w e v e r ,   a   b e t t e r   t e r m   m i g h t   b e   " m u l t i - c u s t o m e r   t e n a n c y , "   s i n c e   S a a S   v e n d o r s   m a y   a l s o   u s e   o t h e r   d e p l o y m e n t   m o d e l s ,   a n d   t h i s   d e p l o y m e n t   m o d e l   c a n   a l s o   b e   u s e d   o u t s i d e   o f   S a a S .   I n   t h i s   s c e n a r i o ,   t h e   c u s t o m e r s   d o   n o t   h a v e   a c c e s s   t o   t h e   c l u s t e r ;   K u b e r n e t e s   i s   i n v i s i b l e   f r o m   t h e i r   p e r s p e c t i v e   a n d   i s   o n l y   u s e d   b y   t h e   v e n d o r   t o   m a n a g e   t h e   w o r k l o a d s .   C o s t   o p t i m i z a t i o n   i s   f r e q u e n t l y   a   c r i t i c a l   c o n c e r n ,   a n d   K u b e r n e t e s   p o l i c i e s   a r e   u s e d   t o   e n s u r e   t h a t   t h e   w o r k l o a d s   a r e   s t r o n g l y   i s o l a t e d   f r o m   e a c h   o t h e r .


Question: What is Tenants?

Answer: W h e n   d i s c u s s i n g   m u l t i - t e n a n c y   i n   K u b e r n e t e s ,   t h e r e   i s   n o   s i n g l e   d e f i n i t i o n   f o r   a   " t e n a n t " .   R a t h e r ,   t h e   d e f i n i t i o n   o f   a   t e n a n t   w i l l   v a r y   d e p e n d i n g   o n   w h e t h e r   m u l t i - t e a m   o r   m u l t i - c u s t o m e r   t e n a n c y   i s   b e i n g   d i s c u s s e d .   I n   m u l t i - t e a m   u s a g e ,   a   t e n a n t   i s   t y p i c a l l y   a   t e a m ,   w h e r e   e a c h   t e a m   t y p i c a l l y   d e p l o y s   a   s m a l l   n u m b e r   o f   w o r k l o a d s   t h a t   s c a l e s   w i t h   t h e   c o m p l e x i t y   o f   t h e   s e r v i c e .   H o w e v e r ,   t h e   d e f i n i t i o n   o f   " t e a m "   m a y   i t s e l f   b e   f u z z y ,   a s   t e a m s   m a y   b e   o r g a n i z e d   i n t o   h i g h e r - l e v e l   d i v i s i o n s   o r   s u b d i v i d e d   i n t o   s m a l l e r   t e a m s .   B y   c o n t r a s t ,   i f   e a c h   t e a m   d e p l o y s   d e d i c a t e d   w o r k l o a d s   f o r   e a c h   n e w   c l i e n t ,   t h e y   a r e   u s i n g   a   m u l t i - c u s t o m e r   m o d e l   o f   t e n a n c y .   I n   t h i s   c a s e ,   a   " t e n a n t "   i s   s i m p l y   a   g r o u p   o f   u s e r s   w h o   s h a r e   a   s i n g l e   w o r k l o a d .   T h i s   m a y   b e   a s   l a r g e   a s   a n   e n t i r e   c o m p a n y ,   o r   a s   s m a l l   a s   a   s i n g l e   t e a m   a t   t h a t   c o m p a n y .   I n   m a n y   c a s e s ,   t h e   s a m e   o r g a n i z a t i o n   m a y   u s e   b o t h   d e f i n i t i o n s   o f   " t e n a n t s "   i n   d i f f e r e n t   c o n t e x t s .   F o r   e x a m p l e ,   a   p l a t f o r m   t e a m   m a y   o f f e r   s h a r e d   s e r v i c e s   s u c h   a s   s e c u r i t y   t o o l s   a n d   d a t a b a s


Question: What is Isolation?

Answer: T h e r e   a r e   s e v e r a l   w a y s   t o   d e s i g n   a n d   b u i l d   m u l t i - t e n a n t   s o l u t i o n s   w i t h   K u b e r n e t e s .   E a c h   o f   t h e s e   m e t h o d s   c o m e s   w i t h   i t s   o w n   s e t   o f   t r a d e o f f s   t h a t   i m p a c t   t h e   i s o l a t i o n   l e v e l ,   i m p l e m e n t a t i o n   e f f o r t ,   o p e r a t i o n a l   c o m p l e x i t y ,   a n d   c o s t   o f   s e r v i c e .   A   K u b e r n e t e s   c l u s t e r   c o n s i s t s   o f   a   c o n t r o l   p l a n e   w h i c h   r u n s   K u b e r n e t e s   s o f t w a r e ,   a n d   a   d a t a   p l a n e   c o n s i s t i n g   o f   w o r k e r   n o d e s   w h e r e   t e n a n t   w o r k l o a d s   a r e   e x e c u t e d   a s   p o d s .   T e n a n t   i s o l a t i o n   c a n   b e   a p p l i e d   i n   b o t h   t h e   c o n t r o l   p l a n e   a n d   t h e   d a t a   p l a n e   b a s e d   o n   o r g a n i z a t i o n a l   r e q u i r e m e n t s .   T h e   l e v e l   o f   i s o l a t i o n   o f f e r e d   i s   s o m e t i m e s   d e s c r i b e d   u s i n g   t e r m s   l i k e   “ h a r d ”   m u l t i - t e n a n c y ,   w h i c h   i m p l i e s   s t r o n g   i s o l a t i o n ,   a n d   “ s o f t ”   m u l t i - t e n a n c y ,   w h i c h   i m p l i e s   w e a k e r   i s o l a t i o n .   I n   p a r t i c u l a r ,   " h a r d "   m u l t i - t e n a n c y   i s   o f t e n   u s e d   t o   d e s c r i b e   c a s e s   w h e r e   t h e   t e n a n t s   d o   n o t   t r u s t   e a c h   o t h e r ,   o f t e n   f r o m   s e c u r i t y   a n d   r e s o u r c e   s h a r i n g   p e r s p e c t i v e s   ( e . g .   g u a r d i n g   a g a i n s t   a t t a c k s   s u c h   a s   d a t a   e x f i l t r a t i o n   o r   D o S ) .   S i n c e   d a t a   p l a n e s   t y p i c a l l y   h a v e   m u c h   l a r g e r   a t t a c k   s u r f a c e


Question: What is Control plane isolation?

Answer: C o n t r o l   p l a n e   i s o l a t i o n   e n s u r e s   t h a t   d i f f e r e n t   t e n a n t s   c a n n o t   a c c e s s   o r   a f f e c t   e a c h   o t h e r s '   K u b e r n e t e s   A P I   r e s o u r c e s .


Question: What is Namespaces?

Answer: I n   K u b e r n e t e s ,   a   N a m e s p a c e   p r o v i d e s   a   m e c h a n i s m   f o r   i s o l a t i n g   g r o u p s   o f   A P I   r e s o u r c e s   w i t h i n   a   s i n g l e   c l u s t e r .   T h i s   i s o l a t i o n   h a s   t w o   k e y   d i m e n s i o n s :   O b j e c t   n a m e s   w i t h i n   a   n a m e s p a c e   c a n   o v e r l a p   w i t h   n a m e s   i n   o t h e r   n a m e s p a c e s ,   s i m i l a r   t o   f i l e s   i n   f o l d e r s .   T h i s   a l l o w s   t e n a n t s   t o   n a m e   t h e i r   r e s o u r c e s   w i t h o u t   h a v i n g   t o   c o n s i d e r   w h a t   o t h e r   t e n a n t s   a r e   d o i n g . M a n y   K u b e r n e t e s   s e c u r i t y   p o l i c i e s   a r e   s c o p e d   t o   n a m e s p a c e s .   F o r   e x a m p l e ,   R B A C   R o l e s   a n d   N e t w o r k   P o l i c i e s   a r e   n a m e s p a c e - s c o p e d   r e s o u r c e s .   U s i n g   R B A C ,   U s e r s   a n d   S e r v i c e   A c c o u n t s   c a n   b e   r e s t r i c t e d   t o   a   n a m e s p a c e .   O b j e c t   n a m e s   w i t h i n   a   n a m e s p a c e   c a n   o v e r l a p   w i t h   n a m e s   i n   o t h e r   n a m e s p a c e s ,   s i m i l a r   t o   f i l e s   i n   f o l d e r s .   T h i s   a l l o w s   t e n a n t s   t o   n a m e   t h e i r   r e s o u r c e s   w i t h o u t   h a v i n g   t o   c o n s i d e r   w h a t   o t h e r   t e n a n t s   a r e   d o i n g .   M a n y   K u b e r n e t e s   s e c u r i t y   p o l i c i e s   a r e   s c o p e d   t o   n a m e s p a c e s .   F o r   e x a m p l e ,   R B A C   R o l e s   a n d   N e t w o r k   P o l i c i e s   a r e   n a m e s p a c e - s c o p e d   r e s o u r c e s .   U s i n g   R B A C ,   U s e r s   a n d   S e r v i c e   A c c o u n t s   c a n   b e   r e s t r i c t e d   t o   a   n a m e s p a c e .   I n   a   m u l t i - t e n a n t   e


Question: What is Access controls?

Answer: T h e   m o s t   i m p o r t a n t   t y p e   o f   i s o l a t i o n   f o r   t h e   c o n t r o l   p l a n e   i s   a u t h o r i z a t i o n .   I f   t e a m s   o r   t h e i r   w o r k l o a d s   c a n   a c c e s s   o r   m o d i f y   e a c h   o t h e r s '   A P I   r e s o u r c e s ,   t h e y   c a n   c h a n g e   o r   d i s a b l e   a l l   o t h e r   t y p e s   o f   p o l i c i e s   t h e r e b y   n e g a t i n g   a n y   p r o t e c t i o n   t h o s e   p o l i c i e s   m a y   o f f e r .   A s   a   r e s u l t ,   i t   i s   c r i t i c a l   t o   e n s u r e   t h a t   e a c h   t e n a n t   h a s   t h e   a p p r o p r i a t e   a c c e s s   t o   o n l y   t h e   n a m e s p a c e s   t h e y   n e e d ,   a n d   n o   m o r e .   T h i s   i s   k n o w n   a s   t h e   " P r i n c i p l e   o f   L e a s t   P r i v i l e g e . "   R o l e - b a s e d   a c c e s s   c o n t r o l   ( R B A C )   i s   c o m m o n l y   u s e d   t o   e n f o r c e   a u t h o r i z a t i o n   i n   t h e   K u b e r n e t e s   c o n t r o l   p l a n e ,   f o r   b o t h   u s e r s   a n d   w o r k l o a d s   ( s e r v i c e   a c c o u n t s ) .   R o l e s   a n d   R o l e B i n d i n g s   a r e   K u b e r n e t e s   o b j e c t s   t h a t   a r e   u s e d   a t   a   n a m e s p a c e   l e v e l   t o   e n f o r c e   a c c e s s   c o n t r o l   i n   y o u r   a p p l i c a t i o n ;   s i m i l a r   o b j e c t s   e x i s t   f o r   a u t h o r i z i n g   a c c e s s   t o   c l u s t e r - l e v e l   o b j e c t s ,   t h o u g h   t h e s e   a r e   l e s s   u s e f u l   f o r   m u l t i - t e n a n t   c l u s t e r s .   I n   a   m u l t i - t e a m   e n v i r o n m e n t ,   R B A C   m u s t   b e   u s e d   t o   r e s t r i c t   t e n a n t s '   a c c e s s   t o   t h e   a p p r o p r i a t e   n a m e s p a c e s ,   a n d   e n s u r e   t h a t   c l u s t e r - w i d e   r e s o


Question: What is Quotas?

Answer: K u b e r n e t e s   w o r k l o a d s   c o n s u m e   n o d e   r e s o u r c e s ,   l i k e   C P U   a n d   m e m o r y .   I n   a   m u l t i - t e n a n t   e n v i r o n m e n t ,   y o u   c a n   u s e   R e s o u r c e   Q u o t a s   t o   m a n a g e   r e s o u r c e   u s a g e   o f   t e n a n t   w o r k l o a d s .   F o r   t h e   m u l t i p l e   t e a m s   u s e   c a s e ,   w h e r e   t e n a n t s   h a v e   a c c e s s   t o   t h e   K u b e r n e t e s   A P I ,   y o u   c a n   u s e   r e s o u r c e   q u o t a s   t o   l i m i t   t h e   n u m b e r   o f   A P I   r e s o u r c e s   ( f o r   e x a m p l e :   t h e   n u m b e r   o f   P o d s ,   o r   t h e   n u m b e r   o f   C o n f i g M a p s )   t h a t   a   t e n a n t   c a n   c r e a t e .   L i m i t s   o n   o b j e c t   c o u n t   e n s u r e   f a i r n e s s   a n d   a i m   t o   a v o i d   n o i s y   n e i g h b o r   i s s u e s   f r o m   a f f e c t i n g   o t h e r   t e n a n t s   t h a t   s h a r e   a   c o n t r o l   p l a n e .   R e s o u r c e   q u o t a s   a r e   n a m e s p a c e d   o b j e c t s .   B y   m a p p i n g   t e n a n t s   t o   n a m e s p a c e s ,   c l u s t e r   a d m i n s   c a n   u s e   q u o t a s   t o   e n s u r e   t h a t   a   t e n a n t   c a n n o t   m o n o p o l i z e   a   c l u s t e r ' s   r e s o u r c e s   o r   o v e r w h e l m   i t s   c o n t r o l   p l a n e .   N a m e s p a c e   m a n a g e m e n t   t o o l s   s i m p l i f y   t h e   a d m i n i s t r a t i o n   o f   q u o t a s .   I n   a d d i t i o n ,   w h i l e   K u b e r n e t e s   q u o t a s   o n l y   a p p l y   w i t h i n   a   s i n g l e   n a m e s p a c e ,   s o m e   n a m e s p a c e   m a n a g e m e n t   t o o l s   a l l o w   g r o u p s   o f   n a m e s p a c e s   t o   s h a r e   q u o t a s ,   g i v i n g   a d m i n i s t r a t o r s   f a r   m o r e   f l e x i b i l i t


Question: What is Data Plane Isolation?

Answer: D a t a   p l a n e   i s o l a t i o n   e n s u r e s   t h a t   p o d s   a n d   w o r k l o a d s   f o r   d i f f e r e n t   t e n a n t s   a r e   s u f f i c i e n t l y   i s o l a t e d .


Question: What is Network isolation?

Answer: B y   d e f a u l t ,   a l l   p o d s   i n   a   K u b e r n e t e s   c l u s t e r   a r e   a l l o w e d   t o   c o m m u n i c a t e   w i t h   e a c h   o t h e r ,   a n d   a l l   n e t w o r k   t r a f f i c   i s   u n e n c r y p t e d .   T h i s   c a n   l e a d   t o   s e c u r i t y   v u l n e r a b i l i t i e s   w h e r e   t r a f f i c   i s   a c c i d e n t a l l y   o r   m a l i c i o u s l y   s e n t   t o   a n   u n i n t e n d e d   d e s t i n a t i o n ,   o r   i s   i n t e r c e p t e d   b y   a   w o r k l o a d   o n   a   c o m p r o m i s e d   n o d e .   P o d - t o - p o d   c o m m u n i c a t i o n   c a n   b e   c o n t r o l l e d   u s i n g   N e t w o r k   P o l i c i e s ,   w h i c h   r e s t r i c t   c o m m u n i c a t i o n   b e t w e e n   p o d s   u s i n g   n a m e s p a c e   l a b e l s   o r   I P   a d d r e s s   r a n g e s .   I n   a   m u l t i - t e n a n t   e n v i r o n m e n t   w h e r e   s t r i c t   n e t w o r k   i s o l a t i o n   b e t w e e n   t e n a n t s   i s   r e q u i r e d ,   s t a r t i n g   w i t h   a   d e f a u l t   p o l i c y   t h a t   d e n i e s   c o m m u n i c a t i o n   b e t w e e n   p o d s   i s   r e c o m m e n d e d   w i t h   a n o t h e r   r u l e   t h a t   a l l o w s   a l l   p o d s   t o   q u e r y   t h e   D N S   s e r v e r   f o r   n a m e   r e s o l u t i o n .   W i t h   s u c h   a   d e f a u l t   p o l i c y   i n   p l a c e ,   y o u   c a n   b e g i n   a d d i n g   m o r e   p e r m i s s i v e   r u l e s   t h a t   a l l o w   f o r   c o m m u n i c a t i o n   w i t h i n   a   n a m e s p a c e .   I t   i s   a l s o   r e c o m m e n d e d   n o t   t o   u s e   e m p t y   l a b e l   s e l e c t o r   ' { } '   f o r   n a m e s p a c e S e l e c t o r   f i e l d   i n   n e t w o r k   p o l i c y   d e f i n i t i o n ,   i n   c a s e   t r a f f i c   n e e d   t o   b e   a l l o w e d


Question: What is Warning:?

Answer: M o r e   a d v a n c e d   n e t w o r k   i s o l a t i o n   m a y   b e   p r o v i d e d   b y   s e r v i c e   m e s h e s ,   w h i c h   p r o v i d e   O S I   L a y e r   7   p o l i c i e s   b a s e d   o n   w o r k l o a d   i d e n t i t y ,   i n   a d d i t i o n   t o   n a m e s p a c e s .   T h e s e   h i g h e r - l e v e l   p o l i c i e s   c a n   m a k e   i t   e a s i e r   t o   m a n a g e   n a m e s p a c e - b a s e d   m u l t i - t e n a n c y ,   e s p e c i a l l y   w h e n   m u l t i p l e   n a m e s p a c e s   a r e   d e d i c a t e d   t o   a   s i n g l e   t e n a n t .   T h e y   f r e q u e n t l y   a l s o   o f f e r   e n c r y p t i o n   u s i n g   m u t u a l   T L S ,   p r o t e c t i n g   y o u r   d a t a   e v e n   i n   t h e   p r e s e n c e   o f   a   c o m p r o m i s e d   n o d e ,   a n d   w o r k   a c r o s s   d e d i c a t e d   o r   v i r t u a l   c l u s t e r s .   H o w e v e r ,   t h e y   c a n   b e   s i g n i f i c a n t l y   m o r e   c o m p l e x   t o   m a n a g e   a n d   m a y   n o t   b e   a p p r o p r i a t e   f o r   a l l   u s e r s .


Question: What is Storage isolation?

Answer: K u b e r n e t e s   o f f e r s   s e v e r a l   t y p e s   o f   v o l u m e s   t h a t   c a n   b e   u s e d   a s   p e r s i s t e n t   s t o r a g e   f o r   w o r k l o a d s .   F o r   s e c u r i t y   a n d   d a t a - i s o l a t i o n ,   d y n a m i c   v o l u m e   p r o v i s i o n i n g   i s   r e c o m m e n d e d   a n d   v o l u m e   t y p e s   t h a t   u s e   n o d e   r e s o u r c e s   s h o u l d   b e   a v o i d e d .   S t o r a g e C l a s s e s   a l l o w   y o u   t o   d e s c r i b e   c u s t o m   " c l a s s e s "   o f   s t o r a g e   o f f e r e d   b y   y o u r   c l u s t e r ,   b a s e d   o n   q u a l i t y - o f - s e r v i c e   l e v e l s ,   b a c k u p   p o l i c i e s ,   o r   c u s t o m   p o l i c i e s   d e t e r m i n e d   b y   t h e   c l u s t e r   a d m i n i s t r a t o r s .   P o d s   c a n   r e q u e s t   s t o r a g e   u s i n g   a   P e r s i s t e n t V o l u m e C l a i m .   A   P e r s i s t e n t V o l u m e C l a i m   i s   a   n a m e s p a c e d   r e s o u r c e ,   w h i c h   e n a b l e s   i s o l a t i n g   p o r t i o n s   o f   t h e   s t o r a g e   s y s t e m   a n d   d e d i c a t i n g   i t   t o   t e n a n t s   w i t h i n   t h e   s h a r e d   K u b e r n e t e s   c l u s t e r .   H o w e v e r ,   i t   i s   i m p o r t a n t   t o   n o t e   t h a t   a   P e r s i s t e n t V o l u m e   i s   a   c l u s t e r - w i d e   r e s o u r c e   a n d   h a s   a   l i f e c y c l e   i n d e p e n d e n t   o f   w o r k l o a d s   a n d   n a m e s p a c e s .   F o r   e x a m p l e ,   y o u   c a n   c o n f i g u r e   a   s e p a r a t e   S t o r a g e C l a s s   f o r   e a c h   t e n a n t   a n d   u s e   t h i s   t o   s t r e n g t h e n   i s o l a t i o n .   I f   a   S t o r a g e C l a s s   i s   s h a r e d ,   y o u   s h o u l d   s e t   a   r e c l a i m   p o l i c y   o f   D e l e t e   t o   e n s u r e


Question: What is Sandboxing containers?

Answer: K u b e r n e t e s   p o d s   a r e   c o m p o s e d   o f   o n e   o r   m o r e   c o n t a i n e r s   t h a t   e x e c u t e   o n   w o r k e r   n o d e s .   C o n t a i n e r s   u t i l i z e   O S - l e v e l   v i r t u a l i z a t i o n   a n d   h e n c e   o f f e r   a   w e a k e r   i s o l a t i o n   b o u n d a r y   t h a n   v i r t u a l   m a c h i n e s   t h a t   u t i l i z e   h a r d w a r e - b a s e d   v i r t u a l i z a t i o n .   I n   a   s h a r e d   e n v i r o n m e n t ,   u n p a t c h e d   v u l n e r a b i l i t i e s   i n   t h e   a p p l i c a t i o n   a n d   s y s t e m   l a y e r s   c a n   b e   e x p l o i t e d   b y   a t t a c k e r s   f o r   c o n t a i n e r   b r e a k o u t s   a n d   r e m o t e   c o d e   e x e c u t i o n   t h a t   a l l o w   a c c e s s   t o   h o s t   r e s o u r c e s .   I n   s o m e   a p p l i c a t i o n s ,   l i k e   a   C o n t e n t   M a n a g e m e n t   S y s t e m   ( C M S ) ,   c u s t o m e r s   m a y   b e   a l l o w e d   t h e   a b i l i t y   t o   u p l o a d   a n d   e x e c u t e   u n t r u s t e d   s c r i p t s   o r   c o d e .   I n   e i t h e r   c a s e ,   m e c h a n i s m s   t o   f u r t h e r   i s o l a t e   a n d   p r o t e c t   w o r k l o a d s   u s i n g   s t r o n g   i s o l a t i o n   a r e   d e s i r a b l e .   S a n d b o x i n g   p r o v i d e s   a   w a y   t o   i s o l a t e   w o r k l o a d s   r u n n i n g   i n   a   s h a r e d   c l u s t e r .   I t   t y p i c a l l y   i n v o l v e s   r u n n i n g   e a c h   p o d   i n   a   s e p a r a t e   e x e c u t i o n   e n v i r o n m e n t   s u c h   a s   a   v i r t u a l   m a c h i n e   o r   a   u s e r s p a c e   k e r n e l .   S a n d b o x i n g   i s   o f t e n   r e c o m m e n d e d   w h e n   y o u   a r e   r u n n i n g   u n t r u s t e d   c o d e ,   w h e r e   w o r k l o a d s   a r e   a s s u m e d   t o   b e


Question: What is Node Isolation?

Answer: N o d e   i s o l a t i o n   i s   a n o t h e r   t e c h n i q u e   t h a t   y o u   c a n   u s e   t o   i s o l a t e   t e n a n t   w o r k l o a d s   f r o m   e a c h   o t h e r .   W i t h   n o d e   i s o l a t i o n ,   a   s e t   o f   n o d e s   i s   d e d i c a t e d   t o   r u n n i n g   p o d s   f r o m   a   p a r t i c u l a r   t e n a n t   a n d   c o - m i n g l i n g   o f   t e n a n t   p o d s   i s   p r o h i b i t e d .   T h i s   c o n f i g u r a t i o n   r e d u c e s   t h e   n o i s y   t e n a n t   i s s u e ,   a s   a l l   p o d s   r u n n i n g   o n   a   n o d e   w i l l   b e l o n g   t o   a   s i n g l e   t e n a n t .   T h e   r i s k   o f   i n f o r m a t i o n   d i s c l o s u r e   i s   s l i g h t l y   l o w e r   w i t h   n o d e   i s o l a t i o n   b e c a u s e   a n   a t t a c k e r   t h a t   m a n a g e s   t o   e s c a p e   f r o m   a   c o n t a i n e r   w i l l   o n l y   h a v e   a c c e s s   t o   t h e   c o n t a i n e r s   a n d   v o l u m e s   m o u n t e d   t o   t h a t   n o d e .   A l t h o u g h   w o r k l o a d s   f r o m   d i f f e r e n t   t e n a n t s   a r e   r u n n i n g   o n   d i f f e r e n t   n o d e s ,   i t   i s   i m p o r t a n t   t o   b e   a w a r e   t h a t   t h e   k u b e l e t   a n d   ( u n l e s s   u s i n g   v i r t u a l   c o n t r o l   p l a n e s )   t h e   A P I   s e r v i c e   a r e   s t i l l   s h a r e d   s e r v i c e s .   A   s k i l l e d   a t t a c k e r   c o u l d   u s e   t h e   p e r m i s s i o n s   a s s i g n e d   t o   t h e   k u b e l e t   o r   o t h e r   p o d s   r u n n i n g   o n   t h e   n o d e   t o   m o v e   l a t e r a l l y   w i t h i n   t h e   c l u s t e r   a n d   g a i n   a c c e s s   t o   t e n a n t   w o r k l o a d s   r u n n i n g   o n   o t h e r   n o d e s .   I f   t h i s   i s   a   m a j o r   c o n c e r n ,   c o n s i d e r   i m p l e


Question: What is Additional Considerations?

Answer: T h i s   s e c t i o n   d i s c u s s e s   o t h e r   K u b e r n e t e s   c o n s t r u c t s   a n d   p a t t e r n s   t h a t   a r e   r e l e v a n t   f o r   m u l t i - t e n a n c y .


Question: What is API Priority and Fairness?

Answer: A P I   p r i o r i t y   a n d   f a i r n e s s   i s   a   K u b e r n e t e s   f e a t u r e   t h a t   a l l o w s   y o u   t o   a s s i g n   a   p r i o r i t y   t o   c e r t a i n   p o d s   r u n n i n g   w i t h i n   t h e   c l u s t e r .   W h e n   a n   a p p l i c a t i o n   c a l l s   t h e   K u b e r n e t e s   A P I ,   t h e   A P I   s e r v e r   e v a l u a t e s   t h e   p r i o r i t y   a s s i g n e d   t o   p o d .   C a l l s   f r o m   p o d s   w i t h   h i g h e r   p r i o r i t y   a r e   f u l f i l l e d   b e f o r e   t h o s e   w i t h   a   l o w e r   p r i o r i t y .   W h e n   c o n t e n t i o n   i s   h i g h ,   l o w e r   p r i o r i t y   c a l l s   c a n   b e   q u e u e d   u n t i l   t h e   s e r v e r   i s   l e s s   b u s y   o r   y o u   c a n   r e j e c t   t h e   r e q u e s t s .   U s i n g   A P I   p r i o r i t y   a n d   f a i r n e s s   w i l l   n o t   b e   v e r y   c o m m o n   i n   S a a S   e n v i r o n m e n t s   u n l e s s   y o u   a r e   a l l o w i n g   c u s t o m e r s   t o   r u n   a p p l i c a t i o n s   t h a t   i n t e r f a c e   w i t h   t h e   K u b e r n e t e s   A P I ,   f o r   e x a m p l e ,   a   c o n t r o l l e r .


Question: What is Quality-of-Service (QoS)?

Answer: W h e n   y o u ’ r e   r u n n i n g   a   S a a S   a p p l i c a t i o n ,   y o u   m a y   w a n t   t h e   a b i l i t y   t o   o f f e r   d i f f e r e n t   Q u a l i t y - o f - S e r v i c e   ( Q o S )   t i e r s   o f   s e r v i c e   t o   d i f f e r e n t   t e n a n t s .   F o r   e x a m p l e ,   y o u   m a y   h a v e   f r e e m i u m   s e r v i c e   t h a t   c o m e s   w i t h   f e w e r   p e r f o r m a n c e   g u a r a n t e e s   a n d   f e a t u r e s   a n d   a   f o r - f e e   s e r v i c e   t i e r   w i t h   s p e c i f i c   p e r f o r m a n c e   g u a r a n t e e s .   F o r t u n a t e l y ,   t h e r e   a r e   s e v e r a l   K u b e r n e t e s   c o n s t r u c t s   t h a t   c a n   h e l p   y o u   a c c o m p l i s h   t h i s   w i t h i n   a   s h a r e d   c l u s t e r ,   i n c l u d i n g   n e t w o r k   Q o S ,   s t o r a g e   c l a s s e s ,   a n d   p o d   p r i o r i t y   a n d   p r e e m p t i o n .   T h e   i d e a   w i t h   e a c h   o f   t h e s e   i s   t o   p r o v i d e   t e n a n t s   w i t h   t h e   q u a l i t y   o f   s e r v i c e   t h a t   t h e y   p a i d   f o r .   L e t ’ s   s t a r t   b y   l o o k i n g   a t   n e t w o r k i n g   Q o S .   T y p i c a l l y ,   a l l   p o d s   o n   a   n o d e   s h a r e   a   n e t w o r k   i n t e r f a c e .   W i t h o u t   n e t w o r k   Q o S ,   s o m e   p o d s   m a y   c o n s u m e   a n   u n f a i r   s h a r e   o f   t h e   a v a i l a b l e   b a n d w i d t h   a t   t h e   e x p e n s e   o f   o t h e r   p o d s .   T h e   K u b e r n e t e s   b a n d w i d t h   p l u g i n   c r e a t e s   a n   e x t e n d e d   r e s o u r c e   f o r   n e t w o r k i n g   t h a t   a l l o w s   y o u   t o   u s e   K u b e r n e t e s   r e s o u r c e s   c o n s t r u c t s ,   i . e .   r e q u e s t s / l i m i t s ,   t o   a p p l y   r a t e   l i m i t s   t o   p o d s   b y   u s


Question: What is DNS?

Answer: K u b e r n e t e s   c l u s t e r s   i n c l u d e   a   D o m a i n   N a m e   S y s t e m   ( D N S )   s e r v i c e   t o   p r o v i d e   t r a n s l a t i o n s   f r o m   n a m e s   t o   I P   a d d r e s s e s ,   f o r   a l l   S e r v i c e s   a n d   P o d s .   B y   d e f a u l t ,   t h e   K u b e r n e t e s   D N S   s e r v i c e   a l l o w s   l o o k u p s   a c r o s s   a l l   n a m e s p a c e s   i n   t h e   c l u s t e r .   I n   m u l t i - t e n a n t   e n v i r o n m e n t s   w h e r e   t e n a n t s   c a n   a c c e s s   p o d s   a n d   o t h e r   K u b e r n e t e s   r e s o u r c e s ,   o r   w h e r e   s t r o n g e r   i s o l a t i o n   i s   r e q u i r e d ,   i t   m a y   b e   n e c e s s a r y   t o   p r e v e n t   p o d s   f r o m   l o o k i n g   u p   s e r v i c e s   i n   o t h e r   N a m e s p a c e s .   Y o u   c a n   r e s t r i c t   c r o s s - n a m e s p a c e   D N S   l o o k u p s   b y   c o n f i g u r i n g   s e c u r i t y   r u l e s   f o r   t h e   D N S   s e r v i c e .   F o r   e x a m p l e ,   C o r e D N S   ( t h e   d e f a u l t   D N S   s e r v i c e   f o r   K u b e r n e t e s )   c a n   l e v e r a g e   K u b e r n e t e s   m e t a d a t a   t o   r e s t r i c t   q u e r i e s   t o   P o d s   a n d   S e r v i c e s   w i t h i n   a   n a m e s p a c e .   F o r   m o r e   i n f o r m a t i o n ,   r e a d   a n   e x a m p l e   o f   c o n f i g u r i n g   t h i s   w i t h i n   t h e   C o r e D N S   d o c u m e n t a t i o n .   W h e n   a   V i r t u a l   C o n t r o l   P l a n e   p e r   t e n a n t   m o d e l   i s   u s e d ,   a   D N S   s e r v i c e   m u s t   b e   c o n f i g u r e d   p e r   t e n a n t   o r   a   m u l t i - t e n a n t   D N S   s e r v i c e   m u s t   b e   u s e d .   H e r e   i s   a n   e x a m p l e   o f   a   c u s t o m i z e d   v e r s i o n   o f   C o r e D N S   t h a t   s u p p o r


Question: What is Operators?

Answer: O p e r a t o r s   a r e   K u b e r n e t e s   c o n t r o l l e r s   t h a t   m a n a g e   a p p l i c a t i o n s .   O p e r a t o r s   c a n   s i m p l i f y   t h e   m a n a g e m e n t   o f   m u l t i p l e   i n s t a n c e s   o f   a n   a p p l i c a t i o n ,   l i k e   a   d a t a b a s e   s e r v i c e ,   w h i c h   m a k e s   t h e m   a   c o m m o n   b u i l d i n g   b l o c k   i n   t h e   m u l t i - c o n s u m e r   ( S a a S )   m u l t i - t e n a n c y   u s e   c a s e .   O p e r a t o r s   u s e d   i n   a   m u l t i - t e n a n t   e n v i r o n m e n t   s h o u l d   f o l l o w   a   s t r i c t e r   s e t   o f   g u i d e l i n e s .   S p e c i f i c a l l y ,   t h e   O p e r a t o r   s h o u l d :   S u p p o r t   c r e a t i n g   r e s o u r c e s   w i t h i n   d i f f e r e n t   t e n a n t   n a m e s p a c e s ,   r a t h e r   t h a n   j u s t   i n   t h e   n a m e s p a c e   i n   w h i c h   t h e   O p e r a t o r   i s   d e p l o y e d . E n s u r e   t h a t   t h e   P o d s   a r e   c o n f i g u r e d   w i t h   r e s o u r c e   r e q u e s t s   a n d   l i m i t s ,   t o   e n s u r e   s c h e d u l i n g   a n d   f a i r n e s s . S u p p o r t   c o n f i g u r a t i o n   o f   P o d s   f o r   d a t a - p l a n e   i s o l a t i o n   t e c h n i q u e s   s u c h   a s   n o d e   i s o l a t i o n   a n d   s a n d b o x e d   c o n t a i n e r s .


Question: What is Implementations?

Answer: T h e r e   a r e   t w o   p r i m a r y   w a y s   t o   s h a r e   a   K u b e r n e t e s   c l u s t e r   f o r   m u l t i - t e n a n c y :   u s i n g   N a m e s p a c e s   ( t h a t   i s ,   a   N a m e s p a c e   p e r   t e n a n t )   o r   b y   v i r t u a l i z i n g   t h e   c o n t r o l   p l a n e   ( t h a t   i s ,   v i r t u a l   c o n t r o l   p l a n e   p e r   t e n a n t ) .   I n   b o t h   c a s e s ,   d a t a   p l a n e   i s o l a t i o n ,   a n d   m a n a g e m e n t   o f   a d d i t i o n a l   c o n s i d e r a t i o n s   s u c h   a s   A P I   P r i o r i t y   a n d   F a i r n e s s ,   i s   a l s o   r e c o m m e n d e d .   N a m e s p a c e   i s o l a t i o n   i s   w e l l - s u p p o r t e d   b y   K u b e r n e t e s ,   h a s   a   n e g l i g i b l e   r e s o u r c e   c o s t ,   a n d   p r o v i d e s   m e c h a n i s m s   t o   a l l o w   t e n a n t s   t o   i n t e r a c t   a p p r o p r i a t e l y ,   s u c h   a s   b y   a l l o w i n g   s e r v i c e - t o - s e r v i c e   c o m m u n i c a t i o n .   H o w e v e r ,   i t   c a n   b e   d i f f i c u l t   t o   c o n f i g u r e ,   a n d   d o e s n ' t   a p p l y   t o   K u b e r n e t e s   r e s o u r c e s   t h a t   c a n ' t   b e   n a m e s p a c e d ,   s u c h   a s   C u s t o m   R e s o u r c e   D e f i n i t i o n s ,   S t o r a g e   C l a s s e s ,   a n d   W e b h o o k s .   C o n t r o l   p l a n e   v i r t u a l i z a t i o n   a l l o w s   f o r   i s o l a t i o n   o f   n o n - n a m e s p a c e d   r e s o u r c e s   a t   t h e   c o s t   o f   s o m e w h a t   h i g h e r   r e s o u r c e   u s a g e   a n d   m o r e   d i f f i c u l t   c r o s s - t e n a n t   s h a r i n g .   I t   i s   a   g o o d   o p t i o n   w h e n   n a m e s p a c e   i s o l a t i o n   i s   i n s u f f i c i e n t   b u t   d e d i c a t e d   c l u s t e r s   a r e   u n d e s i r a b l e ,   d u


Question: What is Namespace per tenant?

Answer: A s   p r e v i o u s l y   m e n t i o n e d ,   y o u   s h o u l d   c o n s i d e r   i s o l a t i n g   e a c h   w o r k l o a d   i n   i t s   o w n   n a m e s p a c e ,   e v e n   i f   y o u   a r e   u s i n g   d e d i c a t e d   c l u s t e r s   o r   v i r t u a l i z e d   c o n t r o l   p l a n e s .   T h i s   e n s u r e s   t h a t   e a c h   w o r k l o a d   o n l y   h a s   a c c e s s   t o   i t s   o w n   r e s o u r c e s ,   s u c h   a s   C o n f i g M a p s   a n d   S e c r e t s ,   a n d   a l l o w s   y o u   t o   t a i l o r   d e d i c a t e d   s e c u r i t y   p o l i c i e s   f o r   e a c h   w o r k l o a d .   I n   a d d i t i o n ,   i t   i s   a   b e s t   p r a c t i c e   t o   g i v e   e a c h   n a m e s p a c e   n a m e s   t h a t   a r e   u n i q u e   a c r o s s   y o u r   e n t i r e   f l e e t   ( t h a t   i s ,   e v e n   i f   t h e y   a r e   i n   s e p a r a t e   c l u s t e r s ) ,   a s   t h i s   g i v e s   y o u   t h e   f l e x i b i l i t y   t o   s w i t c h   b e t w e e n   d e d i c a t e d   a n d   s h a r e d   c l u s t e r s   i n   t h e   f u t u r e ,   o r   t o   u s e   m u l t i - c l u s t e r   t o o l i n g   s u c h   a s   s e r v i c e   m e s h e s .   C o n v e r s e l y ,   t h e r e   a r e   a l s o   a d v a n t a g e s   t o   a s s i g n i n g   n a m e s p a c e s   a t   t h e   t e n a n t   l e v e l ,   n o t   j u s t   t h e   w o r k l o a d   l e v e l ,   s i n c e   t h e r e   a r e   o f t e n   p o l i c i e s   t h a t   a p p l y   t o   a l l   w o r k l o a d s   o w n e d   b y   a   s i n g l e   t e n a n t .   H o w e v e r ,   t h i s   r a i s e s   i t s   o w n   p r o b l e m s .   F i r s t l y ,   t h i s   m a k e s   i t   d i f f i c u l t   o r   i m p o s s i b l e   t o   c u s t o m i z e   p o l i c i e s   t o   i n d i v i d u a l   w o r k l o a d s ,   a n d   s e c o n d l y ,   i t   m a y   b e   c


Question: What is Virtual control plane per tenant?

Answer: A n o t h e r   f o r m   o f   c o n t r o l - p l a n e   i s o l a t i o n   i s   t o   u s e   K u b e r n e t e s   e x t e n s i o n s   t o   p r o v i d e   e a c h   t e n a n t   a   v i r t u a l   c o n t r o l - p l a n e   t h a t   e n a b l e s   s e g m e n t a t i o n   o f   c l u s t e r - w i d e   A P I   r e s o u r c e s .   D a t a   p l a n e   i s o l a t i o n   t e c h n i q u e s   c a n   b e   u s e d   w i t h   t h i s   m o d e l   t o   s e c u r e l y   m a n a g e   w o r k e r   n o d e s   a c r o s s   t e n a n t s .   T h e   v i r t u a l   c o n t r o l   p l a n e   b a s e d   m u l t i - t e n a n c y   m o d e l   e x t e n d s   n a m e s p a c e - b a s e d   m u l t i - t e n a n c y   b y   p r o v i d i n g   e a c h   t e n a n t   w i t h   d e d i c a t e d   c o n t r o l   p l a n e   c o m p o n e n t s ,   a n d   h e n c e   c o m p l e t e   c o n t r o l   o v e r   c l u s t e r - w i d e   r e s o u r c e s   a n d   a d d - o n   s e r v i c e s .   W o r k e r   n o d e s   a r e   s h a r e d   a c r o s s   a l l   t e n a n t s ,   a n d   a r e   m a n a g e d   b y   a   K u b e r n e t e s   c l u s t e r   t h a t   i s   n o r m a l l y   i n a c c e s s i b l e   t o   t e n a n t s .   T h i s   c l u s t e r   i s   o f t e n   r e f e r r e d   t o   a s   a   s u p e r - c l u s t e r   ( o r   s o m e t i m e s   a s   a   h o s t - c l u s t e r ) .   S i n c e   a   t e n a n t ’ s   c o n t r o l - p l a n e   i s   n o t   d i r e c t l y   a s s o c i a t e d   w i t h   u n d e r l y i n g   c o m p u t e   r e s o u r c e s   i t   i s   r e f e r r e d   t o   a s   a   v i r t u a l   c o n t r o l   p l a n e .   A   v i r t u a l   c o n t r o l   p l a n e   t y p i c a l l y   c o n s i s t s   o f   t h e   K u b e r n e t e s   A P I   s e r v e r ,   t h e   c o n t r o l l e r   m a n a g e r ,   a n d   t h e   e t c d   d a t a   s t o r e .   I t   i n t e r a c t


Question: What is 12 - Hardening Guide - Authentication Mechanisms?

Answer: S e l e c t i n g   t h e   a p p r o p r i a t e   a u t h e n t i c a t i o n   m e c h a n i s m ( s )   i s   a   c r u c i a l   a s p e c t   o f   s e c u r i n g   y o u r   c l u s t e r .   K u b e r n e t e s   p r o v i d e s   s e v e r a l   b u i l t - i n   m e c h a n i s m s ,   e a c h   w i t h   i t s   o w n   s t r e n g t h s   a n d   w e a k n e s s e s   t h a t   s h o u l d   b e   c a r e f u l l y   c o n s i d e r e d   w h e n   c h o o s i n g   t h e   b e s t   a u t h e n t i c a t i o n   m e c h a n i s m   f o r   y o u r   c l u s t e r .   I n   g e n e r a l ,   i t   i s   r e c o m m e n d e d   t o   e n a b l e   a s   f e w   a u t h e n t i c a t i o n   m e c h a n i s m s   a s   p o s s i b l e   t o   s i m p l i f y   u s e r   m a n a g e m e n t   a n d   p r e v e n t   c a s e s   w h e r e   u s e r s   r e t a i n   a c c e s s   t o   a   c l u s t e r   t h a t   i s   n o   l o n g e r   r e q u i r e d .   I t   i s   i m p o r t a n t   t o   n o t e   t h a t   K u b e r n e t e s   d o e s   n o t   h a v e   a n   i n - b u i l t   u s e r   d a t a b a s e   w i t h i n   t h e   c l u s t e r .   I n s t e a d ,   i t   t a k e s   u s e r   i n f o r m a t i o n   f r o m   t h e   c o n f i g u r e d   a u t h e n t i c a t i o n   s y s t e m   a n d   u s e s   t h a t   t o   m a k e   a u t h o r i z a t i o n   d e c i s i o n s .   T h e r e f o r e ,   t o   a u d i t   u s e r   a c c e s s ,   y o u   n e e d   t o   r e v i e w   c r e d e n t i a l s   f r o m   e v e r y   c o n f i g u r e d   a u t h e n t i c a t i o n   s o u r c e .   F o r   p r o d u c t i o n   c l u s t e r s   w i t h   m u l t i p l e   u s e r s   d i r e c t l y   a c c e s s i n g   t h e   K u b e r n e t e s   A P I ,   i t   i s   r e c o m m e n d e d   t o   u s e   e x t e r n a l   a u t h e n t i c a t i o n   s o u r c e s   s u c h   a s   O I D C .   T h e   i n t e r n a l   a u t h e n t i


Question: What is X.509 client certificate authentication?

Answer: K u b e r n e t e s   l e v e r a g e s   X . 5 0 9   c l i e n t   c e r t i f i c a t e   a u t h e n t i c a t i o n   f o r   s y s t e m   c o m p o n e n t s ,   s u c h   a s   w h e n   t h e   k u b e l e t   a u t h e n t i c a t e s   t o   t h e   A P I   S e r v e r .   W h i l e   t h i s   m e c h a n i s m   c a n   a l s o   b e   u s e d   f o r   u s e r   a u t h e n t i c a t i o n ,   i t   m i g h t   n o t   b e   s u i t a b l e   f o r   p r o d u c t i o n   u s e   d u e   t o   s e v e r a l   r e s t r i c t i o n s :   C l i e n t   c e r t i f i c a t e s   c a n n o t   b e   i n d i v i d u a l l y   r e v o k e d .   O n c e   c o m p r o m i s e d ,   a   c e r t i f i c a t e   c a n   b e   u s e d   b y   a n   a t t a c k e r   u n t i l   i t   e x p i r e s .   T o   m i t i g a t e   t h i s   r i s k ,   i t   i s   r e c o m m e n d e d   t o   c o n f i g u r e   s h o r t   l i f e t i m e s   f o r   u s e r   a u t h e n t i c a t i o n   c r e d e n t i a l s   c r e a t e d   u s i n g   c l i e n t   c e r t i f i c a t e s . I f   a   c e r t i f i c a t e   n e e d s   t o   b e   i n v a l i d a t e d ,   t h e   c e r t i f i c a t e   a u t h o r i t y   m u s t   b e   r e - k e y e d ,   w h i c h   c a n   i n t r o d u c e   a v a i l a b i l i t y   r i s k s   t o   t h e   c l u s t e r . T h e r e   i s   n o   p e r m a n e n t   r e c o r d   o f   c l i e n t   c e r t i f i c a t e s   c r e a t e d   i n   t h e   c l u s t e r .   T h e r e f o r e ,   a l l   i s s u e d   c e r t i f i c a t e s   m u s t   b e   r e c o r d e d   i f   y o u   n e e d   t o   k e e p   t r a c k   o f   t h e m . P r i v a t e   k e y s   u s e d   f o r   c l i e n t   c e r t i f i c a t e   a u t h e n t i c a t i o n   c a n n o t   b e   p a s s w o r d - p r o t e c t e d .   A n y o n e   w h o   c a n   r e a d   t h e   f i l e   c o n t a i n i n g   t h e   k e y   w i l l   b e   a b l e   t o   m


Question: What is Static token file?

Answer: A l t h o u g h   K u b e r n e t e s   a l l o w s   y o u   t o   l o a d   c r e d e n t i a l s   f r o m   a   s t a t i c   t o k e n   f i l e   l o c a t e d   o n   t h e   c o n t r o l   p l a n e   n o d e   d i s k s ,   t h i s   a p p r o a c h   i s   n o t   r e c o m m e n d e d   f o r   p r o d u c t i o n   s e r v e r s   d u e   t o   s e v e r a l   r e a s o n s :   C r e d e n t i a l s   a r e   s t o r e d   i n   c l e a r   t e x t   o n   c o n t r o l   p l a n e   n o d e   d i s k s ,   w h i c h   c a n   b e   a   s e c u r i t y   r i s k . C h a n g i n g   a n y   c r e d e n t i a l   r e q u i r e s   a   r e s t a r t   o f   t h e   A P I   s e r v e r   p r o c e s s   t o   t a k e   e f f e c t ,   w h i c h   c a n   i m p a c t   a v a i l a b i l i t y . T h e r e   i s   n o   m e c h a n i s m   a v a i l a b l e   t o   a l l o w   u s e r s   t o   r o t a t e   t h e i r   c r e d e n t i a l s .   T o   r o t a t e   a   c r e d e n t i a l ,   a   c l u s t e r   a d m i n i s t r a t o r   m u s t   m o d i f y   t h e   t o k e n   o n   d i s k   a n d   d i s t r i b u t e   i t   t o   t h e   u s e r s . T h e r e   i s   n o   l o c k o u t   m e c h a n i s m   a v a i l a b l e   t o   p r e v e n t   b r u t e - f o r c e   a t t a c k s .


Question: What is Bootstrap tokens?

Answer: B o o t s t r a p   t o k e n s   a r e   u s e d   f o r   j o i n i n g   n o d e s   t o   c l u s t e r s   a n d   a r e   n o t   r e c o m m e n d e d   f o r   u s e r   a u t h e n t i c a t i o n   d u e   t o   s e v e r a l   r e a s o n s :   T h e y   h a v e   h a r d - c o d e d   g r o u p   m e m b e r s h i p s   t h a t   a r e   n o t   s u i t a b l e   f o r   g e n e r a l   u s e ,   m a k i n g   t h e m   u n s u i t a b l e   f o r   a u t h e n t i c a t i o n   p u r p o s e s . M a n u a l l y   g e n e r a t i n g   b o o t s t r a p   t o k e n s   c a n   l e a d   t o   w e a k   t o k e n s   t h a t   c a n   b e   g u e s s e d   b y   a n   a t t a c k e r ,   w h i c h   c a n   b e   a   s e c u r i t y   r i s k . T h e r e   i s   n o   l o c k o u t   m e c h a n i s m   a v a i l a b l e   t o   p r e v e n t   b r u t e - f o r c e   a t t a c k s ,   m a k i n g   i t   e a s i e r   f o r   a t t a c k e r s   t o   g u e s s   o r   c r a c k   t h e   t o k e n .


Question: What is ServiceAccount secret tokens?

Answer: S e r v i c e   a c c o u n t   s e c r e t s   a r e   a v a i l a b l e   a s   a n   o p t i o n   t o   a l l o w   w o r k l o a d s   r u n n i n g   i n   t h e   c l u s t e r   t o   a u t h e n t i c a t e   t o   t h e   A P I   s e r v e r .   I n   K u b e r n e t e s   <   1 . 2 3 ,   t h e s e   w e r e   t h e   d e f a u l t   o p t i o n ,   h o w e v e r ,   t h e y   a r e   b e i n g   r e p l a c e d   w i t h   T o k e n R e q u e s t   A P I   t o k e n s .   W h i l e   t h e s e   s e c r e t s   c o u l d   b e   u s e d   f o r   u s e r   a u t h e n t i c a t i o n ,   t h e y   a r e   g e n e r a l l y   u n s u i t a b l e   f o r   a   n u m b e r   o f   r e a s o n s :   T h e y   c a n n o t   b e   s e t   w i t h   a n   e x p i r y   a n d   w i l l   r e m a i n   v a l i d   u n t i l   t h e   a s s o c i a t e d   s e r v i c e   a c c o u n t   i s   d e l e t e d . T h e   a u t h e n t i c a t i o n   t o k e n s   a r e   v i s i b l e   t o   a n y   c l u s t e r   u s e r   w h o   c a n   r e a d   s e c r e t s   i n   t h e   n a m e s p a c e   t h a t   t h e y   a r e   d e f i n e d   i n . S e r v i c e   a c c o u n t s   c a n n o t   b e   a d d e d   t o   a r b i t r a r y   g r o u p s   c o m p l i c a t i n g   R B A C   m a n a g e m e n t   w h e r e   t h e y   a r e   u s e d .


Question: What is TokenRequest API tokens?

Answer: T h e   T o k e n R e q u e s t   A P I   i s   a   u s e f u l   t o o l   f o r   g e n e r a t i n g   s h o r t - l i v e d   c r e d e n t i a l s   f o r   s e r v i c e   a u t h e n t i c a t i o n   t o   t h e   A P I   s e r v e r   o r   t h i r d - p a r t y   s y s t e m s .   H o w e v e r ,   i t   i s   n o t   g e n e r a l l y   r e c o m m e n d e d   f o r   u s e r   a u t h e n t i c a t i o n   a s   t h e r e   i s   n o   r e v o c a t i o n   m e t h o d   a v a i l a b l e ,   a n d   d i s t r i b u t i n g   c r e d e n t i a l s   t o   u s e r s   i n   a   s e c u r e   m a n n e r   c a n   b e   c h a l l e n g i n g .   W h e n   u s i n g   T o k e n R e q u e s t   t o k e n s   f o r   s e r v i c e   a u t h e n t i c a t i o n ,   i t   i s   r e c o m m e n d e d   t o   i m p l e m e n t   a   s h o r t   l i f e s p a n   t o   r e d u c e   t h e   i m p a c t   o f   c o m p r o m i s e d   t o k e n s .


Question: What is OpenID Connect token authentication?

Answer: K u b e r n e t e s   s u p p o r t s   i n t e g r a t i n g   e x t e r n a l   a u t h e n t i c a t i o n   s e r v i c e s   w i t h   t h e   K u b e r n e t e s   A P I   u s i n g   O p e n I D   C o n n e c t   ( O I D C ) .   T h e r e   i s   a   w i d e   v a r i e t y   o f   s o f t w a r e   t h a t   c a n   b e   u s e d   t o   i n t e g r a t e   K u b e r n e t e s   w i t h   a n   i d e n t i t y   p r o v i d e r .   H o w e v e r ,   w h e n   u s i n g   O I D C   a u t h e n t i c a t i o n   i n   K u b e r n e t e s ,   i t   i s   i m p o r t a n t   t o   c o n s i d e r   t h e   f o l l o w i n g   h a r d e n i n g   m e a s u r e s :   T h e   s o f t w a r e   i n s t a l l e d   i n   t h e   c l u s t e r   t o   s u p p o r t   O I D C   a u t h e n t i c a t i o n   s h o u l d   b e   i s o l a t e d   f r o m   g e n e r a l   w o r k l o a d s   a s   i t   w i l l   r u n   w i t h   h i g h   p r i v i l e g e s . S o m e   K u b e r n e t e s   m a n a g e d   s e r v i c e s   a r e   l i m i t e d   i n   t h e   O I D C   p r o v i d e r s   t h a t   c a n   b e   u s e d . A s   w i t h   T o k e n R e q u e s t   t o k e n s ,   O I D C   t o k e n s   s h o u l d   h a v e   a   s h o r t   l i f e s p a n   t o   r e d u c e   t h e   i m p a c t   o f   c o m p r o m i s e d   t o k e n s .


Question: What is Webhook token authentication?

Answer: W e b h o o k   t o k e n   a u t h e n t i c a t i o n   i s   a n o t h e r   o p t i o n   f o r   i n t e g r a t i n g   e x t e r n a l   a u t h e n t i c a t i o n   p r o v i d e r s   i n t o   K u b e r n e t e s .   T h i s   m e c h a n i s m   a l l o w s   f o r   a n   a u t h e n t i c a t i o n   s e r v i c e ,   e i t h e r   r u n n i n g   i n s i d e   t h e   c l u s t e r   o r   e x t e r n a l l y ,   t o   b e   c o n t a c t e d   f o r   a n   a u t h e n t i c a t i o n   d e c i s i o n   o v e r   a   w e b h o o k .   I t   i s   i m p o r t a n t   t o   n o t e   t h a t   t h e   s u i t a b i l i t y   o f   t h i s   m e c h a n i s m   w i l l   l i k e l y   d e p e n d   o n   t h e   s o f t w a r e   u s e d   f o r   t h e   a u t h e n t i c a t i o n   s e r v i c e ,   a n d   t h e r e   a r e   s o m e   K u b e r n e t e s - s p e c i f i c   c o n s i d e r a t i o n s   t o   t a k e   i n t o   a c c o u n t .   T o   c o n f i g u r e   W e b h o o k   a u t h e n t i c a t i o n ,   a c c e s s   t o   c o n t r o l   p l a n e   s e r v e r   f i l e s y s t e m s   i s   r e q u i r e d .   T h i s   m e a n s   t h a t   i t   w i l l   n o t   b e   p o s s i b l e   w i t h   M a n a g e d   K u b e r n e t e s   u n l e s s   t h e   p r o v i d e r   s p e c i f i c a l l y   m a k e s   i t   a v a i l a b l e .   A d d i t i o n a l l y ,   a n y   s o f t w a r e   i n s t a l l e d   i n   t h e   c l u s t e r   t o   s u p p o r t   t h i s   a c c e s s   s h o u l d   b e   i s o l a t e d   f r o m   g e n e r a l   w o r k l o a d s ,   a s   i t   w i l l   r u n   w i t h   h i g h   p r i v i l e g e s .


Question: What is Authenticating proxy?

Answer: A n o t h e r   o p t i o n   f o r   i n t e g r a t i n g   e x t e r n a l   a u t h e n t i c a t i o n   s y s t e m s   i n t o   K u b e r n e t e s   i s   t o   u s e   a n   a u t h e n t i c a t i n g   p r o x y .   W i t h   t h i s   m e c h a n i s m ,   K u b e r n e t e s   e x p e c t s   t o   r e c e i v e   r e q u e s t s   f r o m   t h e   p r o x y   w i t h   s p e c i f i c   h e a d e r   v a l u e s   s e t ,   i n d i c a t i n g   t h e   u s e r n a m e   a n d   g r o u p   m e m b e r s h i p s   t o   a s s i g n   f o r   a u t h o r i z a t i o n   p u r p o s e s .   I t   i s   i m p o r t a n t   t o   n o t e   t h a t   t h e r e   a r e   s p e c i f i c   c o n s i d e r a t i o n s   t o   t a k e   i n t o   a c c o u n t   w h e n   u s i n g   t h i s   m e c h a n i s m .   F i r s t l y ,   s e c u r e l y   c o n f i g u r e d   T L S   m u s t   b e   u s e d   b e t w e e n   t h e   p r o x y   a n d   K u b e r n e t e s   A P I   s e r v e r   t o   m i t i g a t e   t h e   r i s k   o f   t r a f f i c   i n t e r c e p t i o n   o r   s n i f f i n g   a t t a c k s .   T h i s   e n s u r e s   t h a t   t h e   c o m m u n i c a t i o n   b e t w e e n   t h e   p r o x y   a n d   K u b e r n e t e s   A P I   s e r v e r   i s   s e c u r e .   S e c o n d l y ,   i t   i s   i m p o r t a n t   t o   b e   a w a r e   t h a t   a n   a t t a c k e r   w h o   i s   a b l e   t o   m o d i f y   t h e   h e a d e r s   o f   t h e   r e q u e s t   m a y   b e   a b l e   t o   g a i n   u n a u t h o r i z e d   a c c e s s   t o   K u b e r n e t e s   r e s o u r c e s .   A s   s u c h ,   i t   i s   i m p o r t a n t   t o   e n s u r e   t h a t   t h e   h e a d e r s   a r e   p r o p e r l y   s e c u r e d   a n d   c a n n o t   b e   t a m p e r e d   w i t h .


Question: What is What's next?

Answer: U s e r   A u t h e n t i c a t i o n A u t h e n t i c a t i n g   w i t h   B o o t s t r a p   T o k e n s k u b e l e t   A u t h e n t i c a t i o n A u t h e n t i c a t i n g   w i t h   S e r v i c e   A c c o u n t   T o k e n s


Question: What is 13 - Hardening Guide - Scheduler Configuration?

Answer: T h e   K u b e r n e t e s   s c h e d u l e r   i s   o n e   o f   t h e   c r i t i c a l   c o m p o n e n t s   o f   t h e   c o n t r o l   p l a n e .   T h i s   d o c u m e n t   c o v e r s   h o w   t o   i m p r o v e   t h e   s e c u r i t y   p o s t u r e   o f   t h e   S c h e d u l e r .   A   m i s c o n f i g u r e d   s c h e d u l e r   c a n   h a v e   s e c u r i t y   i m p l i c a t i o n s .   S u c h   a   s c h e d u l e r   c a n   t a r g e t   s p e c i f i c   n o d e s   a n d   e v i c t   t h e   w o r k l o a d s   o r   a p p l i c a t i o n s   t h a t   a r e   s h a r i n g   t h e   n o d e   a n d   i t s   r e s o u r c e s .   T h i s   c a n   a i d   a n   a t t a c k e r   w i t h   a   Y o - Y o   a t t a c k :   a n   a t t a c k   o n   a   v u l n e r a b l e   a u t o s c a l e r .


Question: What is Scheduler authentication & authorization command line options?

Answer: W h e n   s e t t i n g   u p   a u t h e n t i c a t i o n   c o n f i g u r a t i o n ,   i t   s h o u l d   b e   m a d e   s u r e   t h a t   k u b e - s c h e d u l e r ' s   a u t h e n t i c a t i o n   r e m a i n s   c o n s i s t e n t   w i t h   k u b e - a p i - s e r v e r ' s   a u t h e n t i c a t i o n .   I f   a n y   r e q u e s t   h a s   m i s s i n g   a u t h e n t i c a t i o n   h e a d e r s ,   t h e   a u t h e n t i c a t i o n   s h o u l d   h a p p e n   t h r o u g h   t h e   k u b e - a p i - s e r v e r   a l l o w i n g   a l l   a u t h e n t i c a t i o n   t o   b e   c o n s i s t e n t   i n   t h e   c l u s t e r .   a u t h e n t i c a t i o n - k u b e c o n f i g :   M a k e   s u r e   t o   p r o v i d e   a   p r o p e r   k u b e c o n f i g   s o   t h a t   t h e   s c h e d u l e r   c a n   r e t r i e v e   a u t h e n t i c a t i o n   c o n f i g u r a t i o n   o p t i o n s   f r o m   t h e   A P I   S e r v e r .   T h i s   k u b e c o n f i g   f i l e   s h o u l d   b e   p r o t e c t e d   w i t h   s t r i c t   f i l e   p e r m i s s i o n s . a u t h e n t i c a t i o n - t o l e r a t e - l o o k u p - f a i l u r e :   S e t   t h i s   t o   f a l s e   t o   m a k e   s u r e   t h e   s c h e d u l e r   a l w a y s   l o o k s   u p   i t s   a u t h e n t i c a t i o n   c o n f i g u r a t i o n   f r o m   t h e   A P I   s e r v e r . a u t h e n t i c a t i o n - s k i p - l o o k u p :   S e t   t h i s   t o   f a l s e   t o   m a k e   s u r e   t h e   s c h e d u l e r   a l w a y s   l o o k s   u p   i t s   a u t h e n t i c a t i o n   c o n f i g u r a t i o n   f r o m   t h e   A P I   s e r v e r . a u t h o r i z a t i o n - a l w a y s - a l l o w - p a t h s :   T h e s e   p a t h s   s h o u l d   r e s p o n d   w i t h   d a t a   t h a t   i s   a p p r o p r i a t e   f o r   a n o n y m o u s   a u t h o r i z a t i o n .   D e f a u l t s   t o   / h e a


Question: What is Scheduler networking command line options?

Answer: b i n d - a d d r e s s :   I n   m o s t   c a s e s ,   t h e   k u b e - s c h e d u l e r   d o e s   n o t   n e e d   t o   b e   e x t e r n a l l y   a c c e s s i b l e .   S e t t i n g   t h e   b i n d   a d d r e s s   t o   l o c a l h o s t   i s   a   s e c u r e   p r a c t i c e . p e r m i t - a d d r e s s - s h a r i n g :   S e t   t h i s   t o   f a l s e   t o   d i s a b l e   c o n n e c t i o n   s h a r i n g   t h r o u g h   S O _ R E U S E A D D R .   S O _ R E U S E A D D R   c a n   l e a d   t o   r e u s e   o f   t e r m i n a t e d   c o n n e c t i o n s   t h a t   a r e   i n   T I M E _ W A I T   s t a t e . p e r m i t - p o r t - s h a r i n g :   D e f a u l t   f a l s e .   U s e   t h e   d e f a u l t   u n l e s s   y o u   a r e   c o n f i d e n t   y o u   u n d e r s t a n d   t h e   s e c u r i t y   i m p l i c a t i o n s .


Question: What is Scheduler TLS command line options?

Answer: t l s - c i p h e r - s u i t e s :   A l w a y s   p r o v i d e   a   l i s t   o f   p r e f e r r e d   c i p h e r   s u i t e s .   T h i s   e n s u r e s   e n c r y p t i o n   n e v e r   h a p p e n s   w i t h   i n s e c u r e   c i p h e r   s u i t e s .


Question: What is Scheduling configurations for custom schedulers?

Answer: W h e n   u s i n g   c u s t o m   s c h e d u l e r s   b a s e d   o n   t h e   K u b e r n e t e s   s c h e d u l i n g   c o d e ,   c l u s t e r   a d m i n i s t r a t o r s   n e e d   t o   b e   c a r e f u l   w i t h   p l u g i n s   t h a t   u s e   t h e   q u e u e S o r t ,   p r e f i l t e r ,   f i l t e r ,   o r   p e r m i t   e x t e n s i o n   p o i n t s .   T h e s e   e x t e n s i o n   p o i n t s   c o n t r o l   v a r i o u s   s t a g e s   o f   a   s c h e d u l i n g   p r o c e s s ,   a n d   t h e   w r o n g   c o n f i g u r a t i o n   c a n   i m p a c t   t h e   k u b e - s c h e d u l e r ' s   b e h a v i o r   i n   y o u r   c l u s t e r .


Question: What is Key considerations?

Answer: E x a c t l y   o n e   p l u g i n   t h a t   u s e s   t h e   q u e u e S o r t   e x t e n s i o n   p o i n t   c a n   b e   e n a b l e d   a t   a   t i m e .   A n y   p l u g i n s   t h a t   u s e   q u e u e S o r t   s h o u l d   b e   s c r u t i n i z e d . P l u g i n s   t h a t   i m p l e m e n t   t h e   p r e f i l t e r   o r   f i l t e r   e x t e n s i o n   p o i n t   c a n   p o t e n t i a l l y   m a r k   a l l   n o d e s   a s   u n s c h e d u l a b l e .   T h i s   c a n   b r i n g   s c h e d u l i n g   o f   n e w   p o d s   t o   a   h a l t . P l u g i n s   t h a t   i m p l e m e n t   t h e   p e r m i t   e x t e n s i o n   p o i n t   c a n   p r e v e n t   o r   d e l a y   t h e   b i n d i n g   o f   a   P o d .   S u c h   p l u g i n s   s h o u l d   b e   t h o r o u g h l y   r e v i e w e d   b y   t h e   c l u s t e r   a d m i n i s t r a t o r .   W h e n   u s i n g   a   p l u g i n   t h a t   i s   n o t   o n e   o f   t h e   d e f a u l t   p l u g i n s ,   c o n s i d e r   d i s a b l i n g   t h e   q u e u e S o r t ,   f i l t e r   a n d   p e r m i t   e x t e n s i o n   p o i n t s   a s   f o l l o w s :   a p i V e r s i o n :   k u b e s c h e d u l e r . c o n f i g . k 8 s . i o / v 1   k i n d :   K u b e S c h e d u l e r C o n f i g u r a t i o n   p r o f i l e s :   -   s c h e d u l e r N a m e :   m y - s c h e d u l e r   p l u g i n s :   #   D i s a b l e   s p e c i f i c   p l u g i n s   f o r   d i f f e r e n t   e x t e n s i o n   p o i n t s   #   Y o u   c a n   d i s a b l e   a l l   p l u g i n s   f o r   a n   e x t e n s i o n   p o i n t   u s i n g   " * "   q u e u e S o r t :   d i s a b l e d :   -   n a m e :   " * "   #   D i s a b l e   a l l   q u e u e S o r t   p l u g i n s   #   -   n a m e :   " P r i o r i t y S o r t "   #   D i s a b l e   s p e c i f i c   q u e u e S o r t   p l u g i n   f i l t e r :   d i s a b l e d :   -   n a m


Question: What is Disallow labeling nodes?

Answer: A   c l u s t e r   a d m i n i s t r a t o r   s h o u l d   e n s u r e   t h a t   c l u s t e r   u s e r s   c a n n o t   l a b e l   t h e   n o d e s .   A   m a l i c i o u s   a c t o r   c a n   u s e   n o d e S e l e c t o r   t o   s c h e d u l e   w o r k l o a d s   o n   n o d e s   w h e r e   t h o s e   w o r k l o a d s   s h o u l d   n o t   b e   p r e s e n t .


Question: What is 14 - Kubernetes API Server Bypass Risks?

Answer: T h e   K u b e r n e t e s   A P I   s e r v e r   i s   t h e   m a i n   p o i n t   o f   e n t r y   t o   a   c l u s t e r   f o r   e x t e r n a l   p a r t i e s   ( u s e r s   a n d   s e r v i c e s )   i n t e r a c t i n g   w i t h   i t .   A s   p a r t   o f   t h i s   r o l e ,   t h e   A P I   s e r v e r   h a s   s e v e r a l   k e y   b u i l t - i n   s e c u r i t y   c o n t r o l s ,   s u c h   a s   a u d i t   l o g g i n g   a n d   a d m i s s i o n   c o n t r o l l e r s .   H o w e v e r ,   t h e r e   a r e   w a y s   t o   m o d i f y   t h e   c o n f i g u r a t i o n   o r   c o n t e n t   o f   t h e   c l u s t e r   t h a t   b y p a s s   t h e s e   c o n t r o l s .   T h i s   p a g e   d e s c r i b e s   t h e   w a y s   i n   w h i c h   t h e   s e c u r i t y   c o n t r o l s   b u i l t   i n t o   t h e   K u b e r n e t e s   A P I   s e r v e r   c a n   b e   b y p a s s e d ,   s o   t h a t   c l u s t e r   o p e r a t o r s   a n d   s e c u r i t y   a r c h i t e c t s   c a n   e n s u r e   t h a t   t h e s e   b y p a s s e s   a r e   a p p r o p r i a t e l y   r e s t r i c t e d .


Question: What is Static Pods?

Answer: T h e   k u b e l e t   o n   e a c h   n o d e   l o a d s   a n d   d i r e c t l y   m a n a g e s   a n y   m a n i f e s t s   t h a t   a r e   s t o r e d   i n   a   n a m e d   d i r e c t o r y   o r   f e t c h e d   f r o m   a   s p e c i f i c   U R L   a s   s t a t i c   P o d s   i n   y o u r   c l u s t e r .   T h e   A P I   s e r v e r   d o e s n ' t   m a n a g e   t h e s e   s t a t i c   P o d s .   A n   a t t a c k e r   w i t h   w r i t e   a c c e s s   t o   t h i s   l o c a t i o n   c o u l d   m o d i f y   t h e   c o n f i g u r a t i o n   o f   s t a t i c   p o d s   l o a d e d   f r o m   t h a t   s o u r c e ,   o r   c o u l d   i n t r o d u c e   n e w   s t a t i c   P o d s .   S t a t i c   P o d s   a r e   r e s t r i c t e d   f r o m   a c c e s s i n g   o t h e r   o b j e c t s   i n   t h e   K u b e r n e t e s   A P I .   F o r   e x a m p l e ,   y o u   c a n ' t   c o n f i g u r e   a   s t a t i c   P o d   t o   m o u n t   a   S e c r e t   f r o m   t h e   c l u s t e r .   H o w e v e r ,   t h e s e   P o d s   c a n   t a k e   o t h e r   s e c u r i t y   s e n s i t i v e   a c t i o n s ,   s u c h   a s   u s i n g   h o s t P a t h   m o u n t s   f r o m   t h e   u n d e r l y i n g   n o d e .   B y   d e f a u l t ,   t h e   k u b e l e t   c r e a t e s   a   m i r r o r   p o d   s o   t h a t   t h e   s t a t i c   P o d s   a r e   v i s i b l e   i n   t h e   K u b e r n e t e s   A P I .   H o w e v e r ,   i f   t h e   a t t a c k e r   u s e s   a n   i n v a l i d   n a m e s p a c e   n a m e   w h e n   c r e a t i n g   t h e   P o d ,   i t   w i l l   n o t   b e   v i s i b l e   i n   t h e   K u b e r n e t e s   A P I   a n d   c a n   o n l y   b e   d i s c o v e r e d   b y   t o o l i n g   t h a t   h a s   a c c e s s   t o   t h e   a f f e c t e d   h o s t ( s ) .   I f   a   s t a t i c   P o d   f a i l s   a d m i s s i o n   c o n t r o l ,   t h e


Question: What is Mitigations?

Answer: O n l y   e n a b l e   t h e   k u b e l e t   s t a t i c   P o d   m a n i f e s t   f u n c t i o n a l i t y   i f   r e q u i r e d   b y   t h e   n o d e . I f   a   n o d e   u s e s   t h e   s t a t i c   P o d   f u n c t i o n a l i t y ,   r e s t r i c t   f i l e s y s t e m   a c c e s s   t o   t h e   s t a t i c   P o d   m a n i f e s t   d i r e c t o r y   o r   U R L   t o   u s e r s   w h o   n e e d   t h e   a c c e s s . R e s t r i c t   a c c e s s   t o   k u b e l e t   c o n f i g u r a t i o n   p a r a m e t e r s   a n d   f i l e s   t o   p r e v e n t   a n   a t t a c k e r   s e t t i n g   a   s t a t i c   P o d   p a t h   o r   U R L . R e g u l a r l y   a u d i t   a n d   c e n t r a l l y   r e p o r t   a l l   a c c e s s   t o   d i r e c t o r i e s   o r   w e b   s t o r a g e   l o c a t i o n s   t h a t   h o s t   s t a t i c   P o d   m a n i f e s t s   a n d   k u b e l e t   c o n f i g u r a t i o n   f i l e s .


Question: What is The kubelet API?

Answer: T h e   k u b e l e t   p r o v i d e s   a n   H T T P   A P I   t h a t   i s   t y p i c a l l y   e x p o s e d   o n   T C P   p o r t   1 0 2 5 0   o n   c l u s t e r   w o r k e r   n o d e s .   T h e   A P I   m i g h t   a l s o   b e   e x p o s e d   o n   c o n t r o l   p l a n e   n o d e s   d e p e n d i n g   o n   t h e   K u b e r n e t e s   d i s t r i b u t i o n   i n   u s e .   D i r e c t   a c c e s s   t o   t h e   A P I   a l l o w s   f o r   d i s c l o s u r e   o f   i n f o r m a t i o n   a b o u t   t h e   p o d s   r u n n i n g   o n   a   n o d e ,   t h e   l o g s   f r o m   t h o s e   p o d s ,   a n d   e x e c u t i o n   o f   c o m m a n d s   i n   e v e r y   c o n t a i n e r   r u n n i n g   o n   t h e   n o d e .   W h e n   K u b e r n e t e s   c l u s t e r   u s e r s   h a v e   R B A C   a c c e s s   t o   N o d e   o b j e c t   s u b - r e s o u r c e s ,   t h a t   a c c e s s   s e r v e s   a s   a u t h o r i z a t i o n   t o   i n t e r a c t   w i t h   t h e   k u b e l e t   A P I .   T h e   e x a c t   a c c e s s   d e p e n d s   o n   w h i c h   s u b - r e s o u r c e   a c c e s s   h a s   b e e n   g r a n t e d ,   a s   d e t a i l e d   i n   k u b e l e t   a u t h o r i z a t i o n .   D i r e c t   a c c e s s   t o   t h e   k u b e l e t   A P I   i s   n o t   s u b j e c t   t o   a d m i s s i o n   c o n t r o l   a n d   i s   n o t   l o g g e d   b y   K u b e r n e t e s   a u d i t   l o g g i n g .   A n   a t t a c k e r   w i t h   d i r e c t   a c c e s s   t o   t h i s   A P I   m a y   b e   a b l e   t o   b y p a s s   c o n t r o l s   t h a t   d e t e c t   o r   p r e v e n t   c e r t a i n   a c t i o n s .   T h e   k u b e l e t   A P I   c a n   b e   c o n f i g u r e d   t o   a u t h e n t i c a t e   r e q u e s t s   i n   a   n u m b e r   o f   w a y s .   B y   d e f a u l t ,   t h e   k u b e l e t   c o n f i g u r a t i o n   a l l


Question: What is Mitigations?

Answer: R e s t r i c t   a c c e s s   t o   s u b - r e s o u r c e s   o f   t h e   n o d e s   A P I   o b j e c t   u s i n g   m e c h a n i s m s   s u c h   a s   R B A C .   O n l y   g r a n t   t h i s   a c c e s s   w h e n   r e q u i r e d ,   s u c h   a s   b y   m o n i t o r i n g   s e r v i c e s . R e s t r i c t   a c c e s s   t o   t h e   k u b e l e t   p o r t .   O n l y   a l l o w   s p e c i f i e d   a n d   t r u s t e d   I P   a d d r e s s   r a n g e s   t o   a c c e s s   t h e   p o r t . E n s u r e   t h a t   k u b e l e t   a u t h e n t i c a t i o n .   i s   s e t   t o   w e b h o o k   o r   c e r t i f i c a t e   m o d e . E n s u r e   t h a t   t h e   u n a u t h e n t i c a t e d   " r e a d - o n l y "   K u b e l e t   p o r t   i s   n o t   e n a b l e d   o n   t h e   c l u s t e r .


Question: What is The etcd API?

Answer: K u b e r n e t e s   c l u s t e r s   u s e   e t c d   a s   a   d a t a s t o r e .   T h e   e t c d   s e r v i c e   l i s t e n s   o n   T C P   p o r t   2 3 7 9 .   T h e   o n l y   c l i e n t s   t h a t   n e e d   a c c e s s   a r e   t h e   K u b e r n e t e s   A P I   s e r v e r   a n d   a n y   b a c k u p   t o o l i n g   t h a t   y o u   u s e .   D i r e c t   a c c e s s   t o   t h i s   A P I   a l l o w s   f o r   d i s c l o s u r e   o r   m o d i f i c a t i o n   o f   a n y   d a t a   h e l d   i n   t h e   c l u s t e r .   A c c e s s   t o   t h e   e t c d   A P I   i s   t y p i c a l l y   m a n a g e d   b y   c l i e n t   c e r t i f i c a t e   a u t h e n t i c a t i o n .   A n y   c e r t i f i c a t e   i s s u e d   b y   a   c e r t i f i c a t e   a u t h o r i t y   t h a t   e t c d   t r u s t s   a l l o w s   f u l l   a c c e s s   t o   t h e   d a t a   s t o r e d   i n s i d e   e t c d .   D i r e c t   a c c e s s   t o   e t c d   i s   n o t   s u b j e c t   t o   K u b e r n e t e s   a d m i s s i o n   c o n t r o l   a n d   i s   n o t   l o g g e d   b y   K u b e r n e t e s   a u d i t   l o g g i n g .   A n   a t t a c k e r   w h o   h a s   r e a d   a c c e s s   t o   t h e   A P I   s e r v e r ' s   e t c d   c l i e n t   c e r t i f i c a t e   p r i v a t e   k e y   ( o r   c a n   c r e a t e   a   n e w   t r u s t e d   c l i e n t   c e r t i f i c a t e )   c a n   g a i n   c l u s t e r   a d m i n   r i g h t s   b y   a c c e s s i n g   c l u s t e r   s e c r e t s   o r   m o d i f y i n g   a c c e s s   r u l e s .   E v e n   w i t h o u t   e l e v a t i n g   t h e i r   K u b e r n e t e s   R B A C   p r i v i l e g e s ,   a n   a t t a c k e r   w h o   c a n   m o d i f y   e t c d   c a n   r e t r i e v e   a n y   A P I   o b j e c t   o r   c r e a t e   n e w   w o r k l o a d s   i n s i d e   t h e   c l u s t e r .   M a n y   K u b e r n e t e


Question: What is Mitigations?

Answer: E n s u r e   t h a t   t h e   c e r t i f i c a t e   a u t h o r i t y   t r u s t e d   b y   e t c d   i s   u s e d   o n l y   f o r   t h e   p u r p o s e s   o f   a u t h e n t i c a t i o n   t o   t h a t   s e r v i c e . C o n t r o l   a c c e s s   t o   t h e   p r i v a t e   k e y   f o r   t h e   e t c d   s e r v e r   c e r t i f i c a t e ,   a n d   t o   t h e   A P I   s e r v e r ' s   c l i e n t   c e r t i f i c a t e   a n d   k e y . C o n s i d e r   r e s t r i c t i n g   a c c e s s   t o   t h e   e t c d   p o r t   a t   a   n e t w o r k   l e v e l ,   t o   o n l y   a l l o w   a c c e s s   f r o m   s p e c i f i e d   a n d   t r u s t e d   I P   a d d r e s s   r a n g e s .


Question: What is Container runtime socket?

Answer: O n   e a c h   n o d e   i n   a   K u b e r n e t e s   c l u s t e r ,   a c c e s s   t o   i n t e r a c t   w i t h   c o n t a i n e r s   i s   c o n t r o l l e d   b y   t h e   c o n t a i n e r   r u n t i m e   ( o r   r u n t i m e s ,   i f   y o u   h a v e   c o n f i g u r e d   m o r e   t h a n   o n e ) .   T y p i c a l l y ,   t h e   c o n t a i n e r   r u n t i m e   e x p o s e s   a   U n i x   s o c k e t   t h a t   t h e   k u b e l e t   c a n   a c c e s s .   A n   a t t a c k e r   w i t h   a c c e s s   t o   t h i s   s o c k e t   c a n   l a u n c h   n e w   c o n t a i n e r s   o r   i n t e r a c t   w i t h   r u n n i n g   c o n t a i n e r s .   A t   t h e   c l u s t e r   l e v e l ,   t h e   i m p a c t   o f   t h i s   a c c e s s   d e p e n d s   o n   w h e t h e r   t h e   c o n t a i n e r s   t h a t   r u n   o n   t h e   c o m p r o m i s e d   n o d e   h a v e   a c c e s s   t o   S e c r e t s   o r   o t h e r   c o n f i d e n t i a l   d a t a   t h a t   a n   a t t a c k e r   c o u l d   u s e   t o   e s c a l a t e   p r i v i l e g e s   t o   o t h e r   w o r k e r   n o d e s   o r   t o   c o n t r o l   p l a n e   c o m p o n e n t s .


Question: What is Mitigations?

Answer: E n s u r e   t h a t   y o u   t i g h t l y   c o n t r o l   f i l e s y s t e m   a c c e s s   t o   c o n t a i n e r   r u n t i m e   s o c k e t s .   W h e n   p o s s i b l e ,   r e s t r i c t   t h i s   a c c e s s   t o   t h e   r o o t   u s e r . I s o l a t e   t h e   k u b e l e t   f r o m   o t h e r   c o m p o n e n t s   r u n n i n g   o n   t h e   n o d e ,   u s i n g   m e c h a n i s m s   s u c h   a s   L i n u x   k e r n e l   n a m e s p a c e s . E n s u r e   t h a t   y o u   r e s t r i c t   o r   f o r b i d   t h e   u s e   o f   h o s t P a t h   m o u n t s   t h a t   i n c l u d e   t h e   c o n t a i n e r   r u n t i m e   s o c k e t ,   e i t h e r   d i r e c t l y   o r   b y   m o u n t i n g   a   p a r e n t   d i r e c t o r y .   A l s o   h o s t P a t h   m o u n t s   m u s t   b e   s e t   a s   r e a d - o n l y   t o   m i t i g a t e   r i s k s   o f   a t t a c k e r s   b y p a s s i n g   d i r e c t o r y   r e s t r i c t i o n s . R e s t r i c t   u s e r   a c c e s s   t o   n o d e s ,   a n d   e s p e c i a l l y   r e s t r i c t   s u p e r u s e r   a c c e s s   t o   n o d e s .


Question: What is 15 - Linux kernel security constraints for Pods and containers?

Answer: T h i s   p a g e   d e s c r i b e s   s o m e   o f   t h e   s e c u r i t y   f e a t u r e s   t h a t   a r e   b u i l t   i n t o   t h e   L i n u x   k e r n e l   t h a t   y o u   c a n   u s e   i n   y o u r   K u b e r n e t e s   w o r k l o a d s .   T o   l e a r n   h o w   t o   a p p l y   t h e s e   f e a t u r e s   t o   y o u r   P o d s   a n d   c o n t a i n e r s ,   r e f e r   t o   C o n f i g u r e   a   S e c u r i t y C o n t e x t   f o r   a   P o d   o r   C o n t a i n e r .   Y o u   s h o u l d   a l r e a d y   b e   f a m i l i a r   w i t h   L i n u x   a n d   w i t h   t h e   b a s i c s   o f   K u b e r n e t e s   w o r k l o a d s .


Question: What is Run workloads without root privileges?

Answer: W h e n   y o u   d e p l o y   a   w o r k l o a d   i n   K u b e r n e t e s ,   u s e   t h e   P o d   s p e c i f i c a t i o n   t o   r e s t r i c t   t h a t   w o r k l o a d   f r o m   r u n n i n g   a s   t h e   r o o t   u s e r   o n   t h e   n o d e .   Y o u   c a n   u s e   t h e   P o d   s e c u r i t y C o n t e x t   t o   d e f i n e   t h e   s p e c i f i c   L i n u x   u s e r   a n d   g r o u p   f o r   t h e   p r o c e s s e s   i n   t h e   P o d ,   a n d   e x p l i c i t l y   r e s t r i c t   c o n t a i n e r s   f r o m   r u n n i n g   a s   r o o t   u s e r s .   S e t t i n g   t h e s e   v a l u e s   i n   t h e   P o d   m a n i f e s t   t a k e s   p r e c e d e n c e   o v e r   s i m i l a r   v a l u e s   i n   t h e   c o n t a i n e r   i m a g e ,   w h i c h   i s   e s p e c i a l l y   u s e f u l   i f   y o u ' r e   r u n n i n g   i m a g e s   t h a t   y o u   d o n ' t   o w n .


Question: What is Caution:?

Answer: C o n f i g u r i n g   t h e   k e r n e l   s e c u r i t y   f e a t u r e s   o n   t h i s   p a g e   p r o v i d e s   f i n e - g r a i n e d   c o n t r o l   o v e r   t h e   a c t i o n s   t h a t   p r o c e s s e s   i n   y o u r   c l u s t e r   c a n   t a k e ,   b u t   m a n a g i n g   t h e s e   c o n f i g u r a t i o n s   c a n   b e   c h a l l e n g i n g   a t   s c a l e .   R u n n i n g   c o n t a i n e r s   a s   n o n - r o o t ,   o r   i n   u s e r   n a m e s p a c e s   i f   y o u   n e e d   r o o t   p r i v i l e g e s ,   h e l p s   t o   r e d u c e   t h e   c h a n c e   t h a t   y o u ' l l   n e e d   t o   e n f o r c e   y o u r   c o n f i g u r e d   k e r n e l   s e c u r i t y   c a p a b i l i t i e s .


Question: What is Security features in the Linux kernel?

Answer: K u b e r n e t e s   l e t s   y o u   c o n f i g u r e   a n d   u s e   L i n u x   k e r n e l   f e a t u r e s   t o   i m p r o v e   i s o l a t i o n   a n d   h a r d e n   y o u r   c o n t a i n e r i z e d   w o r k l o a d s .   C o m m o n   f e a t u r e s   i n c l u d e   t h e   f o l l o w i n g :   S e c u r e   c o m p u t i n g   m o d e   ( s e c c o m p ) :   F i l t e r   w h i c h   s y s t e m   c a l l s   a   p r o c e s s   c a n   m a k e A p p A r m o r :   R e s t r i c t   t h e   a c c e s s   p r i v i l e g e s   o f   i n d i v i d u a l   p r o g r a m s S e c u r i t y   E n h a n c e d   L i n u x   ( S E L i n u x ) :   A s s i g n   s e c u r i t y   l a b e l s   t o   o b j e c t s   f o r   m o r e   m a n a g e a b l e   s e c u r i t y   p o l i c y   e n f o r c e m e n t   T o   c o n f i g u r e   s e t t i n g s   f o r   o n e   o f   t h e s e   f e a t u r e s ,   t h e   o p e r a t i n g   s y s t e m   t h a t   y o u   c h o o s e   f o r   y o u r   n o d e s   m u s t   e n a b l e   t h e   f e a t u r e   i n   t h e   k e r n e l .   F o r   e x a m p l e ,   U b u n t u   7 . 1 0   a n d   l a t e r   e n a b l e   A p p A r m o r   b y   d e f a u l t .   T o   l e a r n   w h e t h e r   y o u r   O S   e n a b l e s   a   s p e c i f i c   f e a t u r e ,   c o n s u l t   t h e   O S   d o c u m e n t a t i o n .   Y o u   u s e   t h e   s e c u r i t y C o n t e x t   f i e l d   i n   y o u r   P o d   s p e c i f i c a t i o n   t o   d e f i n e   t h e   c o n s t r a i n t s   t h a t   a p p l y   t o   t h o s e   p r o c e s s e s .   T h e   s e c u r i t y C o n t e x t   f i e l d   a l s o   s u p p o r t s   o t h e r   s e c u r i t y   s e t t i n g s ,   s u c h   a s   s p e c i f i c   L i n u x   c a p a b i l i t i e s   o r   f i l e   a c c e s s   p e r m i s s i o n s   u s i n g   U I D s   a n d   G I D s .   T o   l e a r n   m o r e ,   r e f e r   t o   C o n f i g