Date de la session : 19/08/2021 19h30-02h00++
Date de publication : 22/09/2021
Intro
Idée d’app. Pouvoir calculer le poids de son équipement appareil photo et voir quel stabilisateur serait approprié en fonction du poids supporté. (En écrivant ces lignes me vient une autre idée. Cette app pourrais aussi calculer le poids des équipements style trépieds, lumière, micro, batterie externe, disque dur, mais bon là ça devient fastidieux. Faut d’abord se concentrer sur une feature. Et cette feature doit être bien faite donc je disais…) Pour cette appli il me faut des données. À savoir les appareils photo noms et poids. Et les objectifs noms et poids.
Aucune base de données libre d’accès, n’est disponible ni d’API. En revanche, il existe des sites qui recenses des appareils photos et des objectifs.
Changeons de perspective internet est une base de données et les pages sont des tables.
Je veux récupérer des informations dans ces tables. Je vais devoir les crawler 😎.
Voici quelques sites qui semblent contenir les informations que je recherche.
Description
Pour récupérer les données de dxomark il suffit d’ouvrir la console. Et regarder les appels HTTP.
Après analyse, il semblerait que les données de dxomark ne correspondent pas à ce que je recherche. Le poids de l’appareil photo n’est pas présent.
allphotolenses.com/lenses contient des informations sur les objectifs. Le nom et le poids de l’objectif sont présents. Même quelques images de l’objectif parfois 👌🏾.
En revanche, pour récupérer ces données ce n’est pas aussi simple que sur dxomark.
Les données ne sont pas requêtées depuis le client. Les pages sont soit statiques côté serveur ou généré côté serveur.
Du coup, il va falloir récupérer les informations directement dans la page HTML.
La première étape va consister à récupérer toutes les URLs des pages qui m’intéressent.
À savoir 3800+ URLs.
Seulement après avoir écrit et exécuté le 1er script je rendit compte que les URLs aurait pu facilement être deviné.
["Canon/Canon-EF-35mm-F14L-II-USM",
"Canon/Canon-EF-100mm-F2-USM",
"Fujifilm/Fujifilm-FUJINON-XF-200mm-F2-R-LM-OIS-WR"
]
J’aurais pu générer ces URLs avec une boucle sur le nom des objectifs contenu dans le JSON récupéré précédemment. Passer plus de temps sur l’analyse m’aurait évité du temps perdu a développer ce premier script. Mais ce n’est pas plus mal. J’ai pu monter en compétences sur l’utilisation de Puppetteer et de valider mon choix de d’outil.
Objectifs
- Base de données cameras.
- Base de données objectifs.
- Base de données sur Google Sheets
- API de recherche GET cameras/ & GET lenses/ + Swagger
- Crawler Nodejs
Code
Premier script permet de récupérer toutes les pages.
import { chromium } from 'playwright';
import * as fs from "fs";
(async () => {
const browser = await chromium.launch();
const page = await browser.newPage();
// START
const results = [];
const pageLenesSize = Array.from({ length: 239 }, (_, index) => index + 1);;
for (let i = 0; i < pageLenesSize.length; i++) {
await page.goto('<https://allphotolenses.com/lenses/>' + `p_${i + 1}.html`,
{ waitUntil: 'networkidle' });
console.log("iteration ", i)
const trLight = await page.$eval('.light_tr', e => {
const as = e.map(r => r.querySelector('a').href);
return as;
})
const trDark = await page.$eval('.dark_tr', e => {
const as = e.map(r => r.querySelector('a').href);
return as;
})
console.log('found', trLight.length, trDark.length)
console.log(trLight, trDark);
results.push(...trLight);
results.push(...trDark);
};
console.log("results length", results.length);
fs.writeFileSync('./paths.json', JSON.stringify(results));
// END
await browser.close();
})();
Difficultés rencontrées
Quel Framework choisir ?
Le choix ira pour Apfy Playwright.
Points positifs
JSON to Google Sheets api via Pipedream.
Réalisation d’un premier crawler avec Puppetteer.
Un premier script permet de récupérer les pages à crawler.
Le deuxième script va récupérer les informations sur la page.
Import du JSON généré dans notre API JSON To Google Sheets.
Nouvelles problématiques
Est-ce légal de réutiliser ces données accessibles publiquement dans une autre application ?
Est-ce légal d’exposer ces données via une API REST publique ?