[10]: https://git-scm.com/downloads

![TBZ Banner](../x_gitres/tbz_logo.png)

# KN04 Inhaltsverzeichnis

[TOC]

<br>

## Intro

Beachten Sie die [allgemeinen Informationen zu den Abgaben](../Abgaben.md).

Wir nutzen **Amazon Web Services** oder abgekürt **AWS**. Alles was wir hier umsetzen, bieten allerdings auch andere public cloud Anbieter (z.B. Microsoft Azure, Google Cloud Platform oder Linode).


<br>

## Challenges

### A) S3 Bucket erstellen und Objekte darin ablegen (Beginner)

#### Ausgangslage:
Amazon S3 ist ein **Object Store**. Die Daten werden in Form von "Objekten" gespeichert. Ein Objekt in S3 besteht aus den eigentlichen Daten (z. B. eine Bilddatei) und Metadaten (z. B. den Zeitstempel der Erstellung). Diese Objekte werden in sogenannten "Buckets" organisiert. 

In diesem Auftrag werden Sie genau gleich, wie bereits in der Übung [KN02 Lab4.2](../KN02/KN02.md/#b-lab-42---s3) einen eigenen S3-Bucket erstellen und ein Bild darin ablegen. Dieses Bild müssen sie so berechtigen, dass **alle** darauf zugreifen können. 


#### Die Verwaltung von Objekten bietet mehrere Vorteile:

1. Zuverlässige Datenspeicherung: Amazon S3 bietet eine hohe Verfügbarkeit und Haltbarkeit für gespeicherte Daten. Die Dateien werden automatisch auf mehreren Servern und Standorten repliziert, was Schutz vor Datenverlust bietet.
2. Skalierbarkeit und Flexibilität: S3 ermöglicht das Speichern und Abrufen von Daten jeder Größe. Dies ist ideal für das Hochladen von Bildern, Videos und anderen Mediendateien. Zudem können Sie problemlos weitere Buckets erstellen, wenn der Bedarf wächst.



#### Anleitung:

##### Schritt 1: Bucket erstellen
1. Öffnen Sie die [AWS Management Console](https://aws.amazon.com/console/).
2. Navigieren Sie zur S3-Dashboardseite.   
3. Klicken Sie auf "Create bucket".   
4. "Bucket name" eingeben. **Achtung:** Muss "unique" sein.    
5. Public Access gewähren (Häckchen entfernen) **und** bestätigen, dass einverstanden (Häckchen hinzufügen)
6. Bucket erstellen (create)   

##### Schritt 2: Permissions (Berechtigungen) für den Bucket setzen
1. Damit Sie später von überall her auf dieses Bild zugreifen können, muss eine entsprechende **Bucket policy** erstellt werden.
2. Bucket policy erstellen (Edit).   
3. Bucket policy definieren (Allow-Regel für PublicRead einsetzen) gemäss Bild unten.  
  ![Schema](./x_res/01_S3-Service_800.png)


##### Schritt 3: File hochladen
1. Unter **Objects** Klicken Sie auf **Upload**.   
2. Es erscheint ein Window mit der Aufforderung **Datei hochladen**. Sie können dann mit **Add files** entsprechende Dateien (in unserem Fall ein Bild) hochladen.
3. Merken Sie sich die URL. Diese kann unter **Properties** nachgeschaut werden (wird bei der nächsten Übunge gebraucht)


#### Ziel der Übung
:bell: Sie wissen, wie man einen S3 Bucket erstellt, diesem Berechtigungen zuweist und sogenannte **Objects** darin ablegt. Objects können Bilder, Audiodateien, Scripts oder andere Dateiformate sein. Jedes einzelne Objekt besitzt einen einzigartigen **ARN** (Amazon Resource Name) - also einen eindeutigen Identifikator. Das heisst, dass ein Objekt individuell berechtigt werden kann und weltweit einzigartig ist. Ein Object-Store hat allerdings **keine** Hierarchie (Ordnerstruktur) und ist deshalb auch **nicht** für jeden Zweck einsetzbar. Überlegen Sie sich deshalb auch, in welchen Fällen diese Speicherart eher unvorteilhaft ist.


##### Leistungsnachweis
- [ ] Das hochgeladene Bild kann über die **Object URL** in einem beliebigen Webbrowser angezeigt werden.
- [ ] Differenziert und nachvollziehbar im persönlichen Repository dokumentiert. 
- [ ] Fachgespräch mit Coach.

Beachten Sie ausserdem die [allgemeinen Informationen zu den Abgaben](../Abgaben.md).


:warning: **Hinweis:**
In der nächsten Übung wird dieses Bild nochmals benötigt. Sie bauen dann mit einem cloud-init Script einen Webserver und erzeugen darin eine PHP-Seite, welche das Bild auf einer Webseite anzeigt. Bitte erst **nach der Abgabe von KN04** löschen.


<br>

----

### B) Mit "Cloud-init" einen Webserver aufsetzen mit Zugriff auf Bild im S3-Bucket (Advanced)

#### Ausgangslage:
In diesem Auftrag werden Sie eine Amazon EC2-Instanz mit einem Cloud-Init-Script aufzusetzen. Schwerpunkt ist der Content dieses IaC-Scripts, welchen Sie mit Know-how aus der letzten Übung und ein bisschen Hilfe (siehe unten) selber zusammenbauen.
Das Script wird eine Ubuntu-Instanz mit einem Apache Webserver installieren und darauf die PHP-Webseite **test.php** einrichten, die das bereitgestellte Bild aus dem Amazon S3-Bucket einbettet.

#### Anleitung

Verwenden Sie den folgenden Inhalt für das **Cloud-init Script**. Gehen Sie Zeile für Zeile durch und ergänzen/korrigieren Sie diese wo nötig. Unter dem **zweiten write_files** erstellen Sie dann das PHP-File namens **test.php** nach Ihrem persönlichen Geschmack - passend zum Bild, das sie hochgeladen haben.

:warning: **Hinweis:**
Achten Sie darauf, dass im Bereich des zweiten **write_files** auch die Einzüge (indendations) nicht stimmen. Das führt dazu, dass das Script nicht sauber durchläuft, falls dies nicht überarbeitet wird.
 

```php
#cloud-config
users:
  - name: <Ergänzen>
    sudo: <Ergänzen>
    groups: <Ergänzen>
    home: <Ergänzen>
    shell: <Ergänzen>
    ssh_authorized_keys:
      - ssh-rsa <Public-Key> <Name_des_Keybesitzers>
disable_root: <Ergänzen>
package_update: true  
packages:
  - <Ergänzen>
  - <Ergänzen>
  - <Ergänzen>
  - <Ergänzen>
  - <Ergänzen> 
write_files:
  - content: |
      <?php phpinfo(); ?>
    path: /var/www/html/info.php
    permissions: '0644'
write_files:  # Ab hier wird das gesuchte PHP-File erstellt
- content: |
  <?php
  $ihrname = "IhrNachname";
  ?>

  <html>
  <head>
  <title><?php echo $ihrname; ?></title>
  </head>
  <body>
  <h1>Passender Titel</h1>
  <br />
  <img src="URL des Bildes auf dem S3-Bucket" alt="Bild aus S3-Bucket">
  </body>
  </html>
  path: <Pfad und Name des PHP-Files, gem. Vorgabe oben>
  permissions: '0644'
runcmd:
  - sudo systemctl <Ergänzen> <Ergänzen>
```


##### Schritte
1. Öffnen Sie die [AWS Management Console](https://aws.amazon.com/console/).
2. EC2 Instanz benennen (Der Begriff **KN04** soll darin enthalten sein).
3. Ubuntu AMI (Amazon Machine Image) auswählen.   
4. Instance type und (bestehendes) Key pair auswählen.
5. Bestehende Security Group auswählen (Port 80 inbound offen).
6. Cloud-init Script erstellen gem. Vorlage oben (Kernelement dieses Auftrage) und launchen.
8. Resultat: Browser öffnen und IP oder DNS-Namen ergänzen mit "test.php" (Bild unten).
    Endresultat: PHP-Webseite mit Name des Schülers und eingebettetem Bild | 
    :-------------------------:|
    ![Resultat](./x_res/02_EC2-Instanz_installieren_800.png) |


#### Ziel der Übung
:bell: **Verständnisvertiefung** für das Deployment von deklarativen Scripts und die gleichzeitige Nutzung von verschiedenen AWS-Services für eine Applikation (in diesem Fall EC2 und S3).


##### Leistungsnachweis
- [ ] Ihre angepasste Cloud-init Konfiguration als **Datei** im Git-Repository.
- [ ] Ein Screenshot der Webseite mit eingebettetem Bild aus S3-Bucket (gem. Beispiel oben).
- [ ] Differenziert und nachvollziehbar im persönlichen Repository dokumentiert. 
- [ ] Fachgespräch mit Coach - _Technisch nachvollziehbare Erklärung, wie das Cloud-init Script funktioniert_.

Beachten Sie ausserdem die [allgemeinen Informationen zu den Abgaben](../Abgaben.md).




<br>

----

### C) AWS EC2 Windows 10 Server Instanz mit dynamisch hinzugefügtem EBS Volume (Advanced)

#### Ausgangslage:
Wenn Sie eine EC2-Instanz erstellen, nutzen Sie für das Betriebssystem ein besonderes Volume (SSD-Speicher). Dieser Speicher wird AWS Elastic Block Storage (EBS) genannt, ist sehr schnell aber auch teuer. SSDs (EBS Volumes) werden deshalb eher dort genutzt, wo Daten schnell verarbeitet werden müssen. Für "gewöhnliche" Dateiablagen bietet AWS Storage-Dienste wie **S3** (haben Sie im letzten Auftrag kennengelernt) oder **EFS** (vergleichbar mit einem NAS) an.

In diesem Challenge erstellen Sie eine Windows-Server EC2-Instanz mit einem MS Windows Server 2022 Base Image. Anschließend erzeugen Sie ein neues EBS Volume und fügen dieses der Instanz im laufenden Betrieb hinzu. Nachdem sie das eingehängte Volume formatiert haben, können sie dieses als ergänzenden Datenspeicher (Drive D:) verwenden.
Führen Sie diese Übung in der AWS-Academy im LearnerLab durch.



#### Anleitung:

##### Schritt 1: EC2-Instanz mit Windows 10 Server erstellen
1. Öffnen Sie die [AWS Management Console](https://aws.amazon.com/console/).
2. Navigieren Sie zur EC2-Dashboardseite.
3. Klicken Sie auf "Instanzen starten".
4. Wählen Sie Windows, AMI (Amazon Machine Image) **Microsoft Windows Server 2022 Base** aus.
5. Wählen Sie die Instanztyp **t2.micro** (free tier eligible).
6. Bei **Key pair** Wählen Sie den Namen des früher erstellten Schlüssels (ihr SSH-Key) aus. 
7. Unter **Network settings** wählen Sie eine bereits bestehende Security Group aus - diese muss später noch mit einer inbound-rule für RDP ergänzt werden, damit Sie auf die Windows-Instanz zugreifen können.
8. Bei **Configure Storage** können die Defaultwerte übernommen werden.
9. Starten Sie die Instanz mit **Launch instance**.

##### Schritt 2: Inbound Rule für RDP-Verbindung zuweisen
1. Damit Sie später via RDP auf die EC2-Instanz zugreifen können, muss in der ausgewählten Security-Group noch die entsprechende Inbound-Rule für RDP (Port 3389) gesetzt werden.
    ![Inbound Rule](./x_res/05_win10-inst_800.png)

##### Schritt 3: RDP-Verbindung zur Windows Instanz und Volume checken
1. Bei der Windows-Instanz auf **Connect** clicken. Sie benötigen für die RDP-Verbindung folgende drei Angaben. Die ersten beiden Angaben werden vorgegeben. Das Passowrd müssen sie sich noch beschaffen.
    - Public DNS Name 
    - Username: Administrator (immer gleich)
    - **Password**  
2. Wählen Sie **RDP client** aus und klicken Sie auf **Get password**.    
3. Es erscheint ein Window mit der Aufforderung, Ihren **private key** hochzuladen. Sie haben oben bereits ein Key-pair ausgewählt. Verwenden Sie den dazugehörigen private key (_Name.pem_).
    **2.** "RDP Client" und "Get password" | **3.** Private key eingeben um Passwort zu **decrypten** 
    :-------------------------:|:-------------------------:
    ![RDP Client](./x_res/07_win10-inst_600.png) | ![Password](./x_res/08_win10-inst_600.png)
4. Nachdem der private key hochgeladen wurde, mit **Decrypt password** bestätigen. Nun haben sie alle **drei** Angaben, die sie für RDP benötigen.
5. Öffnen Sie nun auf ihrem Laptop eine **Remotedesktopverbindung** und geben sie die drei Angaben ein, um eine RDP-Verbindung mit ihrer EC2-Instanz aufzubauen.
6. Checken Sie auf Windows nun, welche Drives eingebunden sind - öffnen sie dazu **Disk Management** - nur der C-Drive ist vorhanden.

##### Schritt 4: Neues EBS Volume erstellen und an Instanz anhängen
1. Wechseln sie zur AWS Management Console.
2. Überprüfen Sie zuerst, in welcher AZ Ihre Instanz läuft (das Volume muss in derselben AZ erstellt werden).
    ![AZ](./x_res/16_win10-inst_1000.png)
3. Danach navigieren Sie zur EC2-Dashboardseite.
4. Klicken Sie auf "Volumes" im linken Menü.
5. Klicken Sie auf **Create volume**.<br>
    ![Volume](./x_res/17_win10-inst_1000.png)
6. Konfigurieren Sie Größe **20GB** und Availability Zone (muss dieselbe sein wie der EC2-Instanz zugewiesen wurde).
7. Suchen Sie die neu erstellte Volume-ID in der Liste der Volumes.
8. Markieren Sie das neue Volume und klicken Sie auf **Actions** > **Attach volume**.<br>
  ![Volume](./x_res/19_win10-inst_1000.png)
9. Wählen Sie die zuvor erstellte Win10-Instanz aus und bestätigen Sie **Attach volume**.<br>
  ![Volume](./x_res/20_win10-inst_600.png)



##### Schritt 5: EBS Volume im Betriebssystem einbinden, formatieren und verwenden
1. Wechseln sie nun wieder zurück zum RDP-Window (Windows10 Server).
2. Öffnen Sie das **Start**-Menü und suchen Sie "Laufwerksverwaltung" (Englisch; Disk Managemet).
3. Es ist jetzt eine weitere Disk erkennbar (Unknown / offline).<br>
  ![Volume](./x_res/21_win10-inst_1000.png)
4. Klicken Sie mit der rechten Maustaste auf das neue Volume und wählen Sie **Online** und danach **Initialize Disk**. 
5. Erstellen Sie eine einfache Volume-Konfiguration (sie können alles auf Default lassen).
6. Formatieren Sie das Volume mit einem Dateisystem. Innerhalb der neuen Partition mit rechter Maustaste das Pulldown-Menu öffnen und **New Simple Volume** auswählen.
7. Öffnen Sie den Windows Explorer, um auf das neue Volume zuzugreifen und Dateien zu speichern.
8. Erstellen Sie im neuen Volume ein Verzeichnis mit dem Namen **M346_IhrNachname** (im Bild unten als M346_Testordner angegeben).<br>
  ![Volume](./x_res/27_win10-inst_600.png)

#### Ziel der Übung
:bell: **Verständnisaufbau**, dass man **jederzeit** dynamisch weitere EBS Volumes erzeugen und bestehenden Instanzen hinzufügen kann, **ohne** dass diese heruntergefahren werden müssen.
Früher (bei den monolithischen Systemen) hätte man für dieses Vorgehen eine Downtime benötigt. Man musste den Server runterfahren, um die physikalische SSD anschliessend einzubauen. Bei produktiven Systemen war dies oftmals nur mit Wochenendarbeit zu realisieren.


##### Leistungsnachweis
- [ ] Sie wissen, wie man einer Security Group eine Inbound Rule hinzufügt (in diesem Fall **RDP**).
- [ ] Sie sind in der Lage via **RDP** eine Verbindung auf eine EC2-Instanz mit einem laufenden Windows Server Betriebssystem aufzubauen.
- [ ] Sie können ein EBS-Volume erzeugen und dieses dynamisch einer laufenden EC2 Instanz anhängen.
- [ ] Sie wissen, wie man bei einem Windows Server ein EBS-Volume einbindet, formatiert und als Datenablage nutzt.
- [ ] Differenziert und nachvollziehbar im persönlichen Repository dokumentiert. 
- [ ] Fachgespräch mit Coach.

Beachten Sie ausserdem die [allgemeinen Informationen zu den Abgaben](../Abgaben.md).



:warning: **Hinweis:**
Dieses Volume wird **nicht** automatisch gelöscht. Sie müssen folgende Schritte durchführen, damit deswegen nach dem Lab **keine** Kosten anfallen:
1. Instanz **stoppen** oder **terminieren** (AWS Console unter **Instances**)
2. Volume **detachen** (AWS Console unter **Volumes**)
3. Volume **löschen** (AWS Console, Action, **Delete volume**)




<br>

----



UNTEN --> Ziel der Übung
Das Ziel dieser Aufgabe ist es, zu verstehen, wie man jederzeit dynamisch weitere EBS Volumes erzeugen und bestehenden Instanzen hinzufügen kann, ohne dass diese heruntergefahren werden müssen.
Früher (bei den monolithischen Systemen) hätte man für dieses Vorgehen eine Downtime benötigt. Man musste den Server runterfahren, um die physikalische SSD anschliessend einzubauen. Bei produktiven Systemen war dies oftmals nur mit Wochenendarbeit zu realisieren.



### Häufige Fehlerquellen

- Sie vergessen die erste Zeile in der Cloud-init Datei `#cloud-config`. Diese ist notwendig!
- Einrückungen wurden nicht korrekt erstellt. Das Format können Sie hier überprüfen: <https://www.yamllint.com/>.
- Sie können auf dem Server die Log-Datei für Fehler durchsuchen: `/var/log/cloud-init-output.log`
- Das Format des SSH-Schlüssels ist falsch. Korrekt ist: `ssh-key XXXXXXXXXX aws-key`.


<br>

---

### Quellen

- [AWS EC2](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/concepts.html)
- [AWS S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html)

<br>

---

> [⇧ **Zurück zu KN04**](./README.md)

---

> [⇧ **Zurück zur Hauptseite**](https://gitlab.com/ser-cal/M346)

---