m346/KN04/KN04.md
2023-09-09 21:52:57 +02:00

352 lines
19 KiB
Markdown

[10]: https://git-scm.com/downloads
![TBZ Banner](../x_gitres/tbz_logo.png)
# KN04 Inhaltsverzeichnis
[TOC]
<br>
## Intro
Beachten Sie die [allgemeinen Informationen zu den Abgaben](../Abgaben.md).
Wir nutzen **Amazon Web Services** oder abgekürt **AWS**. Alles was wir hier umsetzen, bieten allerdings auch andere public cloud Anbieter (z.B. Microsoft Azure, Google Cloud Platform oder Linode).
<br>
## Challenges
### A) S3 Bucket erstellen und Objekte darin ablegen
#### Ausgangslage:
Amazon S3 ist ein **Object Store**. Die Daten werden in Form von "Objekten" gespeichert. Ein Objekt in S3 besteht aus den eigentlichen Daten (z. B. eine Bilddatei) und Metadaten (z. B. den Zeitstempel der Erstellung). Diese Objekte werden in sogenannten "Buckets" organisiert.
In diesem Auftrag werden Sie genau gleich, wie bereits in der Übung [KN02 Lab4.2](../KN02/KN02.md/#b-lab-42---s3) einen eigenen S3-Bucket erstellen und ein Bild darin ablegen. Dieses Bild müssen sie so berechtigen, dass **alle** darauf zugreifen können.
#### Die Verwaltung von Objekten bietet mehrere Vorteile:
1. Zuverlässige Datenspeicherung: Amazon S3 bietet eine hohe Verfügbarkeit und Haltbarkeit für gespeicherte Daten. Die Dateien werden automatisch auf mehreren Servern und Standorten repliziert, was Schutz vor Datenverlust bietet.
2. Skalierbarkeit und Flexibilität: S3 ermöglicht das Speichern und Abrufen von Daten jeder Größe. Dies ist ideal für das Hochladen von Bildern, Videos und anderen Mediendateien. Zudem können Sie problemlos weitere Buckets erstellen, wenn der Bedarf wächst.
#### Anleitung:
##### Schritt 1: Bucket erstellen
1. Öffnen Sie die [AWS Management Console](https://aws.amazon.com/console/).
2. Navigieren Sie zur S3-Dashboardseite.
3. Klicken Sie auf "Create bucket".
4. "Bucket name" eingeben. **Achtung:** Muss "unique" sein.
5. Public Access gewähren (Häckchen entfernen) **und** bestätigen, dass einverstanden (Häckchen hinzufügen)
6. Bucket erstellen (create)
##### Schritt 2: Permissions (Berechtigungen) für den Bucket setzen
1. Damit Sie später von überall her auf dieses Bild zugreifen können, muss eine entsprechende **Bucket policy** erstellt werden.
2. Bucket policy erstellen (Edit).
3. Bucket policy definieren (Allow-Regel für PublicRead einsetzen) gemäss Bild unten.
![Schema](./x_res/09_S3-Service_1000.png)
##### Schritt 3: File hochladen
1. Unter **Objects** Klicken Sie auf **Upload**.
2. Es erscheint ein Window mit der Aufforderung **Datei hochladen**. Sie können dann mit **Add files** entsprechende Dateien (in unserem Fall ein Bild) hochladen.
3. Merken Sie sich die URL. Diese kann unter **Properties** nachgeschaut werden (wird bei der nächsten Übunge gebraucht)
#### Ziel der Übung
:bell: Sie wissen, wie man einen S3 Bucket erstellt, diesem Berechtigungen zuweist und sogenannte **Objects** darin ablegt. Objects können Bilder, Audiodateien, Scripts oder andere Dateiformate sein. Jedes einzelne Objekt besitzt einen einzigartigen **ARN** (Amazon Resource Name) - also einen eindeutigen Identifikator. Das heisst, dass ein Objekt individuell berechtigt werden kann und weltweit einzigartig ist. Ein Object-Store hat allerdings **keine** Hierarchie (Ordnerstruktur) und ist deshalb auch **nicht** für jeden Zweck einsetzbar. Überlegen Sie sich deshalb auch, in welchen Fällen diese Speicherart eher unvorteilhaft ist.
##### Leistungsnachweis
- [ ] Das hochgeladene Bild kann über die **Object URL** in einem beliebigen Webbrowser angezeigt werden.
- [ ] Differenziert und nachvollziehbar im persönlichen Repository dokumentiert.
- [ ] Fachgespräch mit Coach.
Beachten Sie ausserdem die [allgemeinen Informationen zu den Abgaben](../Abgaben.md).
:warning: **Hinweis:**
In der nächsten Übung wird dieses Bild nochmals benötigt. Sie bauen dann mit einem cloud-init Script einen Webserver und erzeugen darin eine PHP-Seite, welche das Bild auf einer Webseite anzeigt. Bitte erst **nach der Abgabe von KN04** löschen.
<br>
----
### B) Mit "Cloud-init" einen Webserver aufsetzen mit Zugriff auf Bild im S3-Bucket (Advanced)
#### Ausgangslage:
In diesem Auftrag werden Sie eine Amazon EC2-Instanz mit einem Cloud-Init-Skript aufzusetzen. Schwerpunkt ist der Content dieses IaC-Scripts, welches Sie selbständig und mit Know-how aus der letzten Übung selber zusammenbauen.
Das Skript wird eine Ubuntu-Instanz konfigurieren, den Apache Webserver installieren und eine Webseite einrichten, die auf ein Bild aus einem Amazon S3-Bucket zugreift.
#### Anleitung
Verwenden Sie den folgenden Inhalt für die Gestaltung Ihrer Webseite:
```php
#cloud-config
users:
- name: ubuntu
sudo: ALL=(ALL) NOPASSWD:ALL
groups: users, admin
home: /home/ubuntu
shell: /bin/bash
ssh_authorized_keys:
- ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC7uUevS7iVPRPFAmdCAIAk7xg7szJUBhmRhLlNgGg3hQb8Zify0Mvm28yO/BW9XUdgW85pmcmbpyP7Y+pDkWHEFbWBjFdTgmYyoszn08fIsApcVJkauqDLmaz9Fd+FtyZGFJapdgR34nLiT1meklO8/Z/mynSYFuzAWClmRiyZXPok2qQJM/xqZRCudatskYJFobiS/+9pSvohIMT/WLhaBsJStctK1QWWQTuPsfO/6QKFkM378qUeJ74lGBfd7cU0Z3i0B3t9r/bhVu0vsyfQdbiWqL3Bhzl2n/KHaDi2t4mcJwEVIDyzr+6vkSLdu3X09vCcsJPGnLirTHVUGo07 calisto-1
disable_root: false
package_update: true
packages:
- apache2
- curl
- wget
- php
- libapache2-mod-php
write_files:
- content: |
<?php phpinfo(); ?>
path: /var/www/html/info.php
permissions: '0644'
write_files:
- content: |
<?php
$ihrname = "Calisto";
?>
<html>
<head>
<title><?php echo $ihrname; ?></title>
</head>
<body>
<h1>Mein Lieblingsverein</h1>
<br />
<img src="https://calistos-kn04-bucket2.s3.amazonaws.com/fcz.jpg" alt="Bild aus S3-Bucket">
</body>
</html>
path: /var/www/html/test.php
permissions: '0644'
runcmd:
- sudo systemctl restart apache2
```
##### Schritte
1. Öffnen Sie die [AWS Management Console](https://aws.amazon.com/console/).
2. EC2 Instanz benennen (Der Begriff **KN04** soll darin enthalten sein)
3. Ubuntu AMI (Amazon Machine Image) auswählen.
4. Instance type und (bestehendes) Key pair auswählen.
5. Bestehende Security Group auswählen (Port 80 inbound offen).
6. Cloud-init Script reinkopieren (Kernelement dieses Auftrage) und launchen.
7. Script (Lösungsvorschlag).
8. Resultat.
Schritt 1: Putty Key Generator öffnen - Private-Key auswählen und laden|
:-------------------------:|
![public1](./x_res/15_public-key_1000.png) |
Schritt 2: Putty Key Generator - Public-Key erzeugen |
:-------------------------:|
![public1](./x_res/16_public-key_1000.png) |
<br>
Erstellen Sie eine neue Instanz in AWS mit den folgenden Einstellungen:
- Ubuntu 22.04
- Bei "Key pair" verwenden Sie ihren **zweiten** Schlüssel.
- Keine Änderungen bei den restlichen Einstellungen.
- aber: verwenden Sie die [cloud-init Datei](./x_res/cloud-init.yaml) und ersetzen Sie den Schlüssel mit ihrem **ersten** öffentlich Schlüssel. Beachten Sie das Format `ssh-rsa <ihr-Schlüssel-ohne-zeilenumbrüche> random-name`
![Schema](./x_res/04_public-key_800.png)
- Sie können ihre Cloud-init Konfiguration einfach in dem Feld "*user data*" in der Sektion "*Advanced details*" reinkopieren.
**Hinweis**: In KN02 haben Sie sich per SSH mit der laufenden EC2-Instanz verbunden und dann sämtliche Installationsschritte per Hand (imperativ) ausgeführt. Wenn Sie nun aber ihre YAML-Datei in das Feld kopieren, wird AWS sämtliche Schritte automatisch durchführen und alles ohne Handeingabe installieren.
**Hinweis**: Stellen Sie sicher, dass die Zeile `#cloud-config` auch tatsächlich in der YAML-Datei steht, sonst wird der Inhalt nicht korrekt ausgeführt.
Sie haben nun aber ihren Public-Key zwei mal verwendet (einmal beim Feld "Key Pair" in der Management Console und einmal im Cloud-init Script).
Ein Schlüssel wird demzufolge vom anderen Schlüssel überschrieben. Welcher von welchem?
Die beiden unten Bilder verdeutlichen nochmals, dass der Public-Key aus dem Cloud-init Script übernommen wurde (links das Cloud-init Script und rechts das authorized_keys File von der EC2-Instanz).
Denken Sie nochmals an den Ablauf beim Erstellen der EC2-Instanz. Was wurde **wann** eingetragen? **Was ist genau passiert?**
Cloud-init Script | Eintrag in AWS EC2-Instanz (authorized_keys)
:-------------------------:|:-------------------------:
![keypair1](./x_res/05_cloud-init_600.png) | ![keypair2](./x_res/06_cloud-init_600.png)
Zeigen Sie nun, dass Sie **nur mit dem Key aus der Cloud-Init Datei** einloggen können.
Rufen Sie nun das cloud-init-log (`/var/log/cloud-init-output.log`) auf und merken Sie sich den Pfad **/var/log/** für zukünftige Aufträge für die Fehlerfindung.
#### Ziel der Übung
:bell: **Verständnisaufbau** für das Deployment von deklarativen Scripts und die Nutzung von Public-Keys.
##### Leistungsnachweis
- [ ] Ihre angepasste Cloud-init Konfiguration als **Datei** im Git-Repository.
- [ ] Ein Screenshot der Details oder Liste der Instanz, welcher den **verwendeten** Key zeigt.
- [ ] Screenshot mit dem ssh-Befehl und des Resultats unter Verwendung des **ersten** Schlüssels.
- [ ] Screenshot mit dem ssh-Befehl und des Resultats unter Verwendung des **zweiten** Schlüssels.
- [ ] Screenshot mit dem Auszug aus dem Cloud-Init-Log.
- [ ] Technisch nachvollziehbare Erklärung, weshalb nur einer der beiden Keys funktioniert.
- [ ] Differenziert und nachvollziehbar im persönlichen Repository dokumentiert.
- [ ] Fachgespräch mit Coach.
Beachten Sie ausserdem die [allgemeinen Informationen zu den Abgaben](../Abgaben.md).
<br>
----
### C) Template (Beginner)
#### Ausgangslage:
Damit Ihr Coach / Lehrperson ebenfalls auf Ihre Instanz zugreifen kann, ergänzen Sie Ihre cloud-init-Scripts auch mit dessen Public-Key. Fordern Sie diesen an und ergänzen Sie diesen unter ssh_authorized_keys. Dieser Auftrag ist erfüllt, wenn die Lehrperson anschliessend ohne Authentifikation auf Ihre Instanzen zugreifen kann.
#### Anleitung
Erstellen Sie sich ein Cloud-Init Template aufgrund der Datei aus B), welches Sie bei den folgenden Kompetenzen einsetzen.
Fügen Sie auch direkt den [öffentlichen Schlüssel für Lehrpersonen](../PublicKey/346.pub) hinzu, so dass die darin eingetragenen Lehrpersonen Zugriff auf Ihre Instanzen kriegen. Es ist gut möglich, dass der Public-Key Ihrer Lehrperson **nicht** auf der Liste ist. In diesem Fall melden Sie sich kurz bei Ihr.
#### Ziel der Übung
:bell: **Verständnisaufbau**, dass mehrere Public Keys (von diversen Benutzern) hinzugefügt werden können<br>
...ausserdem
- Zugriff für Coach/Lehrperson auf Ihre Instanzen
##### Leistungsnachweis
- [ ] Ihr Coach kann auf eine beliebige Instanz von Ihrem Account zugreifen.
- [ ] Differenziert und nachvollziehbar im persönlichen Repository dokumentiert.
- [ ] Fachgespräch mit Coach.
Beachten Sie ausserdem die [allgemeinen Informationen zu den Abgaben](../Abgaben.md).
<br>
----
### D) Auftrennung von Web- und Datenbankserver (Advanced)
#### Ausgangslage:
Früher dominierten Monolithen als vorherrschende Architektur die IT. Hierbei wurde die gesamte Anwendung als **eine einzige Einheit** entwickelt, getestet und bereitgestellt. Dazu gehörten neben der Hardware auch das Betriebsssystem, Storage- und Datenbankanwendungen. Dabei entstanden oftmals komplexe und untrennbare Abhängigkeiten. Wenn z.B. ein Kernel-Patch installiert wurde, musste das gesamte System heruntergefahren. Das bedeutete oft Wochenendarbeit für die IT-Mitarbeiter und Downtime für die Applikation. Mit dem Aufkommen von komplexen und skalierbaren Anforderungen haben sich deshalb Microservices als Alternative etabliert und inzwischen durchgesetzt. Microservices zerlegen die Anwendung in unabhängige, spezialisierte Dienste, was eine verbesserte Skalierbarkeit, Wartbarkeit und Flexibilität ermöglicht. Diese Verschiebung markiert einen Wandel hin zu agileren und anpassungsfähigeren Ansätzen in der heutigen Softwarelandschaft.
#### Anleitung
In KN02 hatten Sie eine virtuelle Instanz installiert mit Web- und Datenbankserver. Sie haben gesehen, dass viele Befehle ausgeführt werden müssen und dass die gesamte Anwendung schlussendlich auf nur einer Instanz läuft. Wenn Sie nun dieselbe Anwendung nochmals installieren, müssten Sie sämtliche Schritte immer wieder von Hand (imperativ) durchführen. Cloud-init hilft Ihnen die Installation zu vereinfachen/automatisieren. Man spricht dann von der **deklarativen Methode** und von **Infrastructure as Code**. Beide Begriffe werden Sie in ihrer Laufbahn als Plattformentwickler noch des öfteren hören und lesen.
**Die drei wichtigsten Vorteile von Cloud-init sind:**
1. **Automatisierte Bereitstellung:** Cloud-init ermöglicht die automatische Konfiguration und Initialisierung von virtuellen Maschinen, wodurch die Bereitstellung beschleunigt und vereinfacht wird.
2. **Skalierbarkeit:** Durch die Anwendung von identischen Konfigurationen auf mehreren Instanzen können Ressourcen leicht skaliert werden, um auf steigende Anforderungen zu reagieren.
3. **Zentrale Verwaltung und Aktualisierung:** Cloud-init ermöglicht eine zentrale Verwaltung von Konfigurationen und erleichtert die Aktualisierung und Wartung von VM-Instanzen, was Konsistenz und Wartbarkeit fördert.
---
In der nächsten Teilaufgabe werden wir die Datenbank und den Webserver **voneinander trennen** in zwei Unterschiedliche Instanzen. Für beide Instanzen werden Sie zudem eine Cloud-init Datei (***cloud-init-web.yaml, und cloud-init-db.yaml***) erstellen.
Das folgende Schema zeigt Ihnen unsere Zielarchitektur mit den entsprechenden Ports. **Beachten Sie den zusätzlichen Port, den Sie nun ebenfalls öffnen müssen (auf der richtigen Instanz).**
![Schema](./x_res/10_Topologie_1200.png)
**Aufgaben**:
- Lesen Sie das folgende kurz durch bevor Sie beginnen. Erstellen Sie dann **zuerst** den **Datenbank**-Server. Wenn dieser läuft und die Screenshots gemacht wurden, erstellen Sie den Web-Server. **Wichtig:** Der Datenbank-Server muss laufen, bevor Sie den Webserver installieren. Sie brauchen im Script des Webservers (Frontend) die **Interne IP-Adresse** des Datenbank-Servers für die Verbindung zwischen Front- und Backend (Port 3306).
- Installieren Sie die gleichen **Pakete** wie in KN02 via Cloud-Init. Verteilen Sie die Pakete korrekt auf die beiden Cloud-init Dateien. Dazu müssen Sie überlegen und genau verstehen, welche Befehle für welchen Dienst genutzt werden.
- In KN02 hatten Sie Dateien via GIT geklont und dann an die Zielorte kopiert. Sie gehen nun ein wenig anders vor. Sie verwenden die **write_files**-Anweisung von Cloud-init, um Dateien zu erstellen. Sie finden in der [Doku zu Cloud-init: Write Files](https://cloudinit.readthedocs.io/en/latest/reference/modules.html#write-files) weitere Informationen. Sie können die Datei-Inhalte vom [letzten Auftrag KN02/C)](../KN02/KN02.md#c-installation-von-web--und-datenbankserver) kopieren.
- In KN02 hatten Sie verschiedene Befehle ausführen müssen. Verwenden Sie die **runcmd**-Anweisung von Cloud-init, um Befehle auszuführen. Sie müssen natürlich nur noch die Befehle ausführen, die in den vorherigen Punkten nicht abgedeckt sind.
- Führen Sie den folgenden Befehl noch zusätzlich aus:
`sudo sed -i 's/127.0.0.1/0.0.0.0/g' /etc/mysql/mariadb.conf.d/50-server.cnf`. Dieser Befehl ändert die Konfigurationsdatei der Datenbank und lässt externe Verbindungen zu. In der Vorlage (cloud-init-db_Vorlage.yaml), ist der Anfang auf Zeile 19 bereits eingetragen).
- Fügen Sie das Paket *adminer* hinzu. Adminer bietet eine GUI, um Datenbanken zu administrieren. Sie müssen anschliessend die beiden folgenden Befehle ausführen (Die entsprechende Cloud-init-Anweisung kennen Sie bereits):
1. `sudo a2enconf adminer`. Dies fügt die Konfiguration für das Paket *adminer* der *apache* Config hinzu. In der Vorlage (cloud-init-web_Vorlage.yaml), ist der Anfang auf Zeile 45 bereits eingetragen.
2. Starten Sie den Apache Service neu.
<br>
**Templates für die IaC-Files**
- Als Hilfe dienen Ihnen die beiden IaC-Script-Vorlagen (unten). Sie können diese downloaden und wo nötig ergänzen.
- Erklären Sie im Script oder in Ihrer Doku **jede einzelne Zeile** (Text nach einem Hashtag **#** wird als Text interpretiert).
- Achten Sie auch auf die Zeileneinzüge (Indendations). Diese sind in den Vorlagen korrekt - daran müssen Sie nichts ändern. Bedenken Sie aber, dass sie in YAML-Files zu Fehlern führen, wenn sie **nicht** korrekt sind.
[IaC Vorlage cloud-init-db.yaml](./x_res/cloud-init-db_VORLAGE.yaml) | [IaC Vorlage cloud-init-web.yaml](./x_res/cloud-init-web_VORLAGE.yaml)
:-------------------------:|:-------------------------:
![cloud-init-db](./x_res/11_cloud-init-db_600.png) | ![cloud-init-web](./x_res/12_cloud-init-web1_600.png)
<br>
#### Ziel der Übung
:bell: **Verständnisaufbau** für das Erstellen und Anwenden von Cloud-init Scripts (IaC)<br>
...ausserdem
- Bedeutung der Aufteilung von **Services** auf verschiedene Instanzen und deren Vorteile
##### Leistungsnachweis
- [ ] Differenziert und nachvollziehbar im persönlichen Repository dokumentiert.
- [ ] Fachgespräch mit Coach.
...sowie folgende Punkte
- [ ] **Beweisführung DB Server**
1. Verbinden Sie sich mit dem Server (Shell) und zeigen Sie, dass, die Datenbankverbindung mit dem Benutzer *admin* funktioniert. Der Befehl dazu lautet `mysql -u admin -p`. Sie müssen dann anschliessend das Passwort eingeben. Erstellen Sie einen Screenshot, der den Befehl und die CLI von mysql zeigt.
2. Von ihrem lokalen System zeigen Sie, dass Sie von extern auf den Datenbank Server zugreifen können. Verwenden Sie dazu telnet mit dem Befehl `telnet <IP> 3306`. Erstellen Sie einen Screenshot des Befehls und des Resultats. Sie können den Telnet-Client über die Windows-Features aktivieren. Wenn Sie kryptische Zeichen als Antwort bekommen, funktioniert der Zugriff.
![Telnet](./x_res/07_telnet_1200.png)
3. Fügen Sie die Cloud-Init-Datei im Git-Repository hinzu.
- [ ] **Beweisführung Webserver**
1. Rufen Sie die Seiten index.html, info.php und db.php auf und erstellen Sie einen Screenshot der URL und des Inhalts.
2. Rufen Sie Adminer auf (http://ihre-ip/adminer/), verbinden Sie sich mit dem DB-Server und zeigen Sie mit Screenshots, dass die Verbindung funktioniert.
![Adminer](./x_res/08_Zugriff_1200.png)
...danach Zugriff auf die Datenbank
![Adminer](./x_res/09_Front-back_1200.png)
3. Fügen Sie die Cloud-Init-Datei im Git-Repository hinzu.
Beachten Sie ausserdem die [allgemeinen Informationen zu den Abgaben](../Abgaben.md).
### Häufige Fehlerquellen
- Sie vergessen die erste Zeile in der Cloud-init Datei `#cloud-config`. Diese ist notwendig!
- Einrückungen wurden nicht korrekt erstellt. Das Format können Sie hier überprüfen: <https://www.yamllint.com/>.
- Sie können auf dem Server die Log-Datei für Fehler durchsuchen: `/var/log/cloud-init-output.log`
- Das Format des SSH-Schlüssels ist falsch. Korrekt ist: `ssh-key XXXXXXXXXX aws-key`.
<br>
---
### Quellen
puttygen: [Puttygen download](https://www.puttygen.com/)
<br>
---
> [⇧ **Zurück zu KN03**](./README.md)
---
> [⇧ **Zurück zur Hauptseite**](https://gitlab.com/ser-cal/M346)
---