- Détails
-
Création : mardi 11 août 2020 18:49
-
Écrit par Frédéric
Autopsy pour l'analyse Windows, la recherche de mots avec SOLR et TIKA
But :
Créer un index
Chercher dans l’index
Maintenir une liste de mots
Pourquoi l’utiliser ?
Chercher des termes communs aux projets de cas courants
Chercher dans les communications qui communique avec qui
Chercher des ordinateurs qui ont pris part à certaines actions
Regex pour chercher dans les emails et urls
Autopsy pour l'analyse Windows, la recherche de mots: qu’est-ce que l’index de texte ?
Concept similaire avec l’indes de hashs
Un index texte contient une liste de mots, du texte extrait de fichiers, du texte extrait desobjets découverts dans le projet (artifacts).
Chaque mot est contenu dans un ou plusieurs documents.
On ajoute un document à un index avec des mots et un document ID sur chaque mot
Autopsy utilise Apache Solr comme moteur de recherche, populaire open source
L’index est enregistré dans le projet case
Il contient
-le nom des fichiers
-du texte issu de fichiers
-tu texte issu d’informations récoltées
L’ingest module est responsable de l’ajout de texte dans l’index
L ne prend pas en compte les fichiers connus , NSRL
Extraction intelligente : PDF vs DocX
SolR coupe le texte en mot et met à jour l’index
Autopsy se sert d’Apache Tika pour tout ce qui est fichiers communs
Supporte entre autre les formats de fichiers Office, PDF, OpenDoc, RTF, metadata d’audio, video…
Besoin d'aide sur Autopsy?
Autopsy pour l'analyse Windows, la recherche de mots: l'extraction de texte HTML
Contenu HTML sont souvent cherchés, mais les commentaires et le javascript un peu moins. Isl apparaissent à la fin de la recherche.
Besoin d'aide sur Autopsy?
Autopsy pour l'analyse Windows, la recherche de mots: l'extraction des chaines
Si le type de fichier n’est pas connu de Tika (ou est corrompu) une extraction générique est utilisée
Recherche d’octets pouvant former une chaine dans certaines lanages
Deux paramètres :
Encodages
Langages
Plus on ajoute d’encodages et de langages, moins on a de faux positifs
Dans les outils , options
Besoin d'aide sur Autopsy ?
Autopsy pour l'analyse Windows, la recherche de mots: normalisation du texte
Autopsy va rendre toutes les recherches insensibles à la casse, et normaliser les sequences unicode
Les accents, les langages asiatiques sont pris en compte.
Autopsy pour l'analyse Windows, la recherche de mots: types de mots et de listes
On peut chercher
Le mot exact (par defaut) : « ear » n’est valable que pour la recherche « ear », par contre en cherchant « ear » on ne trouvera pas « bear » .
Des parties du mot : en cherchant « ear », on trouvera « bear »
Des expressions régulières
On peut regrouper les mots dans des listes, pour les partager avec des collègues, et s’en resservir dans les autres cas projets suivants.
Autopsy arrive avec une bonne quantité d’expressions régulières, mais elles produisent souvent des faux positifs lorsque l’on s’en sert, comme par exemple :
-Numeros de téléphones (format US)
-Adresses IP
-e-mail
-URL
-Numéros de carte de credit
Une validation du numéro de carte de crédit est fait avec l’algorithme de Luhn.
Autopsy pour l'analyse Windows, la recherche de mots: comment la recherche s'effectue?
On peut enseigner les mots connus quand on lance l’ingest sur une nouvelle source de donnée, avec les mots relatifs à ce type de projet cas, les mots déjà connus en rapport avec ce projet cas.
On peut aussi chercher la boite de recherche dans l’UI principale (ad-hoc) des mots qui arrivent pendant la recherche, en fonction des découvertes.
On peut choisir la liste de mots à chercher pendant l’ingestion
Les recherches sont relancées automatiquement périodiquement. Autopsy sauve l’index toutes les 5 minutes et effectue à nouveau la recherche.
Tout ceci pour rapidement trouver des mots intéréssants dans le contexte utilisateur.
Les résultats sont mis à jour toutes les 5 minutes par defaut.
Autopsy pour l'analyse Windows, la recherche de mots: recherches ad-hoc
Utiliser la boite de rechreche en haut à droite
Il existe des options pour mot exact, partie d’une chaine, et regex, expression régulière
Peut se lancer uniquement sur certaines data sources
On peut choisir de ne pas sauver les résultats comme objets informations découvertes dans le cas projet
Le résultat de la recherche est envoyé dans un nouveau reader.
Autopsy pour l'analyse Windows, la recherche de mots: où trouver les résultats de la recherche?
Le résultat de la recherche sur les modules ingest se trouve dans l’arbre
Organisé par listes
Les requêtes Ad-hoc sont représentées en nodes
La table a d scolonnes pour les mots clés, la préview et le chemin vers le fichier.
On peut voir les mots recherchés surlignés en jaune dans les documents
Quand on trouve un fichier grace à un mot clé intéréssant, on peut visualiser ce fichier en faisant « Viw file in directory » avec le bouton droit : « voir fichier dans le repertoire »
Création d’une liste de mots clés spécifique
Nouvelle liste, on entre le nom, et on entre les mots, un par ligne
On peut coller depuis le presse papier aussi.
Export de listes de mots clés
On peut aussi exporter nos listes
Autopsy pour l'analyse Windows, la recherche de mots: QCM du CTF
Nous allons maintenant exécuter l'ingestion et le pré-remplissage avec des mots clés que nous connaissons déjà sur le cas.
Exécutez l'ingestion avec la «Recherche par mot clé» activée.
Créez une liste de mots clés avec les mots suivants:
Mots-clés de correspondance exacte:
renzik
Configurez pour mettre à jour toutes les 1 minute (afin que vous n'ayez pas à attendre trop longtemps - changez-le après).
Lancez l'ingestion.
Après l'exécution de quelques pour cent des fichiers, vous devriez voir quelques hits. Honnêtement, ils ne sont pas si excitants, mais ils sont assez bons pour ce laboratoire. Il y en a plus pertinents si vous le laissez fonctionner jusqu'à 15% environ.
Question: Il y a des références à un document avec renzik. Quel est le nom du fichier?
In order to ensure that Renzik is trated properly
Question: Combien de hits existe-t-il pour «Renzik» dans NTUSER.DAT? 1
N'oubliez pas de ramener la minuterie périodique de votre recherche de mots clés à 5 minutes.
Cet article reflète exclusivement l'opinion de ses auteurs et n’engage en aucune façon Consultingit. J'espère que ça vous a plu.
Ce cours, avec TD, POC et QCM d'évaluation est composé de ces autres chapitres:
Modules ingest
Modules additionnels
Module Android
Moteur de corrélation
Recherche de mots avec SOLR et TIKA
Préparation CTF
CTF Renzik : UI
Writeup CTF Renzik
Vos commentaires/remarques sont les bienvenus: [No form id or name provided!]
- Détails
-
Création : mardi 7 juillet 2020 18:49
-
Écrit par Frédéric
Analyse forensique informatique / analyse forensique d'un système Windows avec Autopsy, préparation CTF
Avec une des application forensique préférée de l'équipe CTF LGHM : Autopsy
Besoin d'aide?
La capture du drapeau ou « capturez le drapeau » (souvent abrégé en CTF pour Capture the Flag), est un mode de jeu par équipe . Ce type de jeu a été adapté dans divers domaines ainsi qu'en cybersécurité. voir https://fr.wikipedia.org/wiki/Capture_du_drapeau certains pour passer le temps font des mots croisés, d'autres du sudoku, nous c'est du CTF :-)
Comment devenir pentesteur? Résoudre les énigmes CTF, et c'est facile avec l'outil pwnator LGHM by Ponemon technologies qui est un framework qui résume les principales étapes du pentest. Ideal pour récolter un max de points lors des épreuves CTF dans les conférences infosec . Mais avant, il faut s'entrainer: Pour commencer, voici comment obtenir un code de parrainage hack the box.
Bienvenue dans cette découverte Analyse forensique informatique / analyse forensique d'un système Windows avec Autiopsy. But du CTF: trouver des flags dans une machine Windows . C'est parti!
Analyse forensique informatique / analyse forensique d'un système Windows avec Autopsy : Qu’est-ce qu’Autopsy?
Plate forme open source pour faire de l’investifation numérique
Logiciel pour analyser des disques durs, des telephones portables, clés usb etc.
Il a été créé pour
-sa facilité d’utilisation
-résultats rapides
-possibilités d’extensions : avec les plug-ins et frameworks
-gratuit à télécharger
-support (payant) si besoin auprès de consultingit
Analyse forensique informatique / analyse forensique d'un système Windows avec Autopsy : Main UI interface générale
Au lieu de la ligne de comande de Sleuth Kit, on a maintenant une belle interface montrant les fichiers trouvés de la sources, ainsi que leurs méta datas.
Historique des versions
En 2001, la 1ere version open source de Brian Carrier voit le jour
Il s’agit d’une interface qui facilite les commandes à taper de Sleuth Kit, au début il n’y avait qu’une version Linux et OSX.
En 2012, la version 3 est réalisée par Basis Technology
-Reconstruire depuis 0 en tant que plate-forme
-Version Windows
-Automatisée
-Projet financé en partie par l’armée américaine
Basis Technology est le 1er développeur d’Autopsy
Brian Carrier supervise le groupe Forensique Investigations
Autopsy est construit en parallèle des activités d’investigations numériques de Basis Technology .
Création du logiciel « Cyber Triage incident response ».
Analyse forensique informatique / analyse forensique d'un système Windows avec Autopsy : déroulement du CTF
-Découverte et installation (15 minutes)
-Révisions sur projet étude de cas et Sources de données (30 minutes)
-Les bases de l’interface (30 minutes)
-Analyse des sources de données et découvertes des flags(5 heures)
-Notes, commentaires et reporting (30 min)
Analyse forensique informatique / analyse forensique d'un système Windows avec Autopsy : concepts de base
Workflow de base
Tout commence en créant un nouveau « case » , ou nouveau « projet »
Il a un nom et on sauvegarde ce projet dans un répertoire
Ensuite on ajoute les sources de données :
Ca sera par exemple une image disque, ou des fichiers d’un répertoire
Visualisation des données analysées
Marquer/Taguer les fichiers
Dès que l’on trouve quelquechose d’intéréssant, on peut taguer en fonction de ce que c’est, grace à des boomarks pré établis : exemple, si on tombe sur de l’exploitation d’enfants.
Génération du rapport final
Présentation des trouvailles à la direction lors de la réunion de restitution
Type de déploiements : desktop single user ou cluster multi user
Single user, utilisateur unique :
Les projets cas ne peuvent être ouverts que par une seule personne à la fois.
Sur un seul ordinateur
Le lancement d’autopsy lancera tous le services automatiquement (base de donnée, indexation texte…)
Projets cases à plusieurs
Ces projets cases peuvent être ouverts par plusieurs utilisateurs en même temps
« Auto ingest » analyses 24x7 en continu par tous les nœuds du cluster
Analyse plus rapide grace à la base de données
Ensuite on ajoute les sources de données :
Ca sera par exemple une image disque, ou des fichiers d’un répertoire
Visualisation des données analysées
Marquer/Taguer les fichiers
Dès que l’on trouve quelquechose d’intéréssant, on peut taguer en fonction de ce que c’est, grace à des boomarks pré établis : exemple, si on tombe sur de l’exploitation d’enfants.
Génération du rapport final
Présentation des trouvailles à la direction lors de la réunion de restitution
Type de déploiements : desktop single user ou cluster multi user
Single user, utilisateur unique :
Les projets cas ne peuvent être ouverts que par une seule personne à la fois.
Sur un seul ordinateur
Le lancement d’autopsy lancera tous le services automatiquement (base de donnée, indexation texte…)
Projets cases à plusieurs
Ces projets cases peuvent être ouverts par plusieurs utilisateurs en même temps
« Auto ingest » analyses 24x7 en continu par tous les nœuds du cluster
Analyse plus rapide grace à la base de données
Besoin d'aide?
Analyse forensique informatique / analyse forensique d'un système Windows avec Autopsy : Le dossier central/Central Repository
Possibilité de partager le travail via une base PostgreSQL, Solr, ActiveMQ…
La base de donnée enregistre les données des derniers cas projets
Les hashs MD5
Les commentaires
Les SSIDs Wifi
…
Pourquoi tout ceci est nécéssaire ?
Pour accéder facilement aux anciens projets et retrouver des données similaires. Exemple, si on a déjà vu un fichier similaire dans une autre affaire.
Voir les commentaires associés à d’anciens fichiers qui réapparaissent dans le nouveau cas.
On peut taguer automatiquement certains fichiers s’ils ont été tagués dans d’anciens cas, on voit de suite qu’on à affaire à un nouveau cas similaire.
Centralisation des hashs intéréssants
Analyse forensique informatique / analyse forensique d'un système Windows avec Autopsy : 2 Types de base de donnée centralisée supportée : SQLite et PostgreSQL
SQLite
Pas besoin d’installations
Peut être utilisé par 1 personne à la fois
Attention, ne pas ruser en la mettant sur un répertoire partagé pour avoir plusieurs analystes travaillant dessus en même temps.
Parfait si on est consultant unique
POSTGRESQL
Base de données serveur
Peut être utilisée par plusieurs utilisateurs en même temps
On peut utiliser le même serveur pour plusieurs cas projets.
Parfait si on est dans un laboratoire avec plusieurs analystes
maj le 21 avril 2020
Autopsy est principalement développé pour Microsoft Windows, mais la prise en charge sur Linux et macOS est minimale.
Il existe des limitations de fonctionnalités sur Linux et macOS. Ce cours a été initialement écrit en supposant que le joueur exécutait Windows.
Si vous n'avez pas accès à un système Windows, vous pouvez rencontrer des problèmes avec certains des CTFs.
1.4. Installation d’Autopsy
S’installe sur un PC Windows d’examinateur (ou une VM)
On télécharge le MSI, et on double clique en utilisant les valeurs par defaut.
Une installation = 1 repertoire. On peut avoir plusieurs versions d’Autopsy installées en même temps.
Installation sur un cluster : 2 serveurs dédiés avec un stockage NAS
Installation de PostgreSQL et Active MQ sur un serveur
Installation de Solr (index texte) sur l’autre serveur
S’assurer que tous les clients ont accès à la base de données grace au partage UNC.
1.4.1. Configuration en « multi-user »
Aller dans les options, puis la partie multi-users et entrer les noms d’hotes, noms d’utilisateur, IP…
1.4.2. Configurer le répertoire central
Outils/options/répertoire central
Cocher « utiliser un repertoire central »
Choisir ensuite le type de base de donnée
SQlite :
Ou PostgreSQL
Analyse forensique informatique / analyse forensique d'un système Windows avec Autopsy : 2 Types de base de donnée centralisée supportée : Utilisation du traducteur automatique, configuration
Pratique quand on doit donner des rapports en français aux avocats.
Il faut utiliser sa clé de traduction Google ou Microsoft, API KEY
Outils/options/Traduction
Installation
Nous allons maintenant installer Autopsy sur notre ordinateur afin de pouvoir effectuer ultérieurement des activités pratiques.
On a téléchargé le programme d'installation ".msi" dans la section 1.
On l’installe en utilisant les options par défaut.
autopsy-4.15.0-64bit.msi
On lance Autopsy et active le référentiel central à l'aide d'une base de données SQLite à l'emplacement AppData par défaut.
Analyse forensique informatique / analyse forensique d'un système Windows avec Autopsy : Projet étude de cas et Sources de données (30 minutes)
Organiser la récupération de données dans un projet cas
Qu’est-ce qu’un projet cas ?
Un groupe de données à analyser
On peut créer différents projets cas en fonction de chaque enquête ou par nom de clients dans une enquête
Un cas projet à la fois car le reporting se fait une fois qu’il est fini.
Les projets cas sont automatiquement sauvegardés.
Nouveau cas
Case/new case
On spécifie le nom du case et le repertoire
En option, on peut renseigner le numéro du case, et le nom, téléphone, email de l’investigateur analyste.
Chaque cas projet a UN repertoire, exemple : c:\cas
En cas de besoin, il est conseillé de créer des sous-repertoires dans ce répertoire , exemple : c:\cas\infos
En environnement partagé, tous les utilisateurs doivent avoir accès au même repertoire partage
Exemple : \\server\cas ou X:\cas
Analyse forensique informatique / analyse forensique d'un système Windows avec Autopsy : Que contient ce répertoire « cas » ?
Un fichier autopsy.db qui est la base SQLite dans laquelle sont stockées toutes les infos (sauf si multi user)
Repertoire Export
Repertoire Reports
Repertoire ModuleOutput (dans lequel les modules écrivent)
Analyse forensique informatique / analyse forensique d'un système Windows avec Autopsy : Les data sources, sources de données
Qu’est-ce qu’une data source ?
Images de disques, disques locaux, fichiers locaux, fichiers disques de machines virtuelles, raw (données non structurées) , dumps mémoire (volatility)
Add data source
Le but est d’intégrer la datasource avec tous les fichiers qu’elle contient, pour pouvoir l’analyser
Une colonne est ajoutée à la base de données pour chaque fichier découvert.
Ensuite dans cette colonne on trouve comme données les métadatas des fichiers :
-nom
-nom du repertoire parent
-temps de modification, création
-taille
-permissions…
-hash MD5
La base de données ne contient pas la copie du fichiers, juste les informations du fichier, donc elle reste relativement petite.
Analyse forensique informatique / analyse forensique d'un système Windows avec Autopsy : Data source: image disque
Les formats supportés :
Raw
E01
Raw (iphone, android
Machines virtuelles
On fait pointer Autposy sur le 1er volume, exemple E01, et il découvre tous les autres.
Analyse d’images disque avec The Sleuth KIT (TSK) outil open source utilisé depuis des années.
Analyse du contenu de l’image, detetion du volume système et des partitions disque
Detection des file systems et reconstruction des partitions.
Support de partitions DOS, GPT, Mac, BSD, Solaris
Autopsy montrera les zones du disque qui ne sont pas dans le volume
Chaque volume est analysé comme un file system
Support des file systems :
NTFS
Fat, Fat32, ExFAT
HFS+
ISO9660
Ext2/3/4
YAFFS2
UES
Les fichiers orphelins qui ont été effaces sont accessible dans le repertoire $Orphanfiles
Trouver des fichiers orphelins en FAT peut être long et fastifieux, car chache cluster doit etre lu et analysé. On peut désactiver l’option quand l’image est ajoutée.
Carving : Autopsy peut récupérer des fichiers sans connaitre l’OS, la structure
Par exemple, des JPEG, PDF, Word, exe… Interessant quand le système d’exploitation ne contient plus le pointeur vers le fichier.
Exemple, un fichier est représenté par ses métadatas OS dans ds blocks sur un disque. Sans les métadatas OS, on ne sait plus quels blocs du disque correspondent au fichier.
Le process carving permet de retrouver des fichiers dans ces blocs
Outil carving : PhotoREC , open source, qui fonctionne sur les espaces non alloués
Les fichiers carved sont ajoutés dans le répertoire $CarvedFiles
Le process de carving intervient au moment où sont lancés les « ingest » modules
Analyse forensique informatique / analyse forensique d'un système Windows avec Autopsy : Espace non alloué
L’espace non alloué est représenté sous forme d’un fichier dabs ke réoertoire $Unalloc
Analyse forensique informatique / analyse forensique d'un système Windows avec Autopsy : Ajout d’une imager disque
Cocher ici « ignorer les fichiers orphelins dans la FAT »
Limitations : On ne peut pas utiliser la technique d’image surRaid
Raid
Disque sans volumes logiques disques dynamiques
Bitlocker
Analyse forensique informatique / analyse forensique d'un système Windows avec Autopsy : Data source : local drive
disque dur système , c : ou d : ou e :
On peut l’analyser en live (triage) ou via un périphérique USB (pour empêcher l’écriture).
On peut lancer Autopsy depuis une clé USB.
Process identique qu’avec les images disques, on peut scanner les volumes, files systems, ajouter des fichiers à la base de donnée.
On doit être admministrateur pour accéder aux lecteurs
Ne pas retirer la clé USB pendant l’analyse
Analyse forensique informatique / analyse forensique d'un système Windows avec Autopsy : Création d’un VHD
En même temps que le disque est analysé, on peut en créer une copie virtuelle.
En analysant complètement le disque, on obtient une image complète.
Cliquer « créer image VHD »
Cliquer « update case to use VHD »
Besoin d'aide ?
Analyse forensique informatique / analyse forensique d'un système Windows avec Autopsy : Fichiers locaux
Un petit bonjour aux copains en passant: Quanthor_ic, Nics, Nofix , SIben, Trollolol, Aswane, Major_Tom, blueshit, PlaidCTF, Corentin , loulous24, Neit, redoste, Ninjarchiviste, S01den, hexabeast, shd33, H4ckd4ddy, Slowerzs, Rocha01Nicolas, ethicalhack3r , SoEasY, Voydstack, Worty, xbquo, Yir, Zarked, Tek_, SushiMaki, OxUKN, Bdenneu, T0t0r04, BZHugs, Aether, LowOrbitIonCanon, Gabrielle_BGB, CanardMandarin , Jardin_Acide, Le vrai faux Serguei, rabbindesbois, ENOENT, face0xff, Forgi, 0ni0n5, Biotienne, JoanSivion, Fab13N, MathisHammel , Damien, G3rmon, $in , yaumn, plean... ils se reconnaitront!
◦ Avant de commencer, commençons à télécharger les données dont nous aurons besoin pour les CTF. Nous n'en aurons pas besoin pour quelques sections, vous pouvez donc les démarrer maintenant et les laisser télécharger en arrière-plan.
◦
◦ Autopsy: Nous nous concentrons sur la version Windows d'Autopsy. Vous pouvez rencontrer des problèmes avec le cours si vous l'utilisez sur Linux ou macOS car toutes les fonctionnalités ne sont pas prises en charge.
64-bit Autopsy: http://www.autopsy.com/download
https://github.com/sleuthkit/autopsy/releases/download/autopsy-4.15.0/autopsy-4.15.0-64bit.msi
826Mo
Cet article reflète exclusivement l'opinion de ses auteurs et n’engage en aucune façon Consultingit. J'espère que ça vous a plu.
Ce cours, avec TD, POC et QCM d'évaluation est composé de ces autres chapitres:
Modules ingest
Modules additionnels
Module AndroidAndroid
Moteur de corrélation
Recherche de mots avec SOLR et TIKA
Préparation CTF
CTF Renzik : UI
Writeup CTF Renzik
Vos commentaires/remarques sont les bienvenus: [No form id or name provided!]
