Wiki ISIG - Contributions [fr]

Reseaux

2022-01-19T13:56:24Z

88.126.37.20 :

== 🏠 Intégration au sein du labo ==

* [https://umr5600.cnrs.fr/fr/accueil/ UMR 5600 EVS Environnement Ville Société]
* [https://atelier8.hypotheses.org/ Atelier spatialités numériques et géomatique (anciennement atelier 8)]

== 🏙️ Intégration du labo/de l'équipe à d'autres réseaux ==

* [[https://www.universite-lyon.fr/| Université de Lyon]] L''''université de Lyon''' est une '''communauté d'universités et établissements''' qui fédère onze établissements d’enseignement supérieur et de recherche de Lyon et Saint-Étienne ainsi que le CNRS, et a pour vocation de promouvoir la qualité des formations et des recherches menées en leur sein
* [[https://www.msh-lse.fr/| MSH-LSE]] la '''Maison des Sciences de l’Homme (MSH) Lyon St-Etienne''' rassemble maintenant 52 laboratoires de recherche implantés sur les deux sites. Au sein de cette structure, les expertises des chercheurs couvrent tout le spectre des SHS. De par son statut, la MSH travaille en collaboration avec le CNRS et les établissements d’enseignement supérieur et de recherche de la région. Elle joue ainsi un '''rôle fédérateur pour le développement de la recherche en SHS au sein de la COMUE Université de Lyon'''.
* [[http://bioenvis.universite-lyon.fr/| FR BioEnvis]] '''Fédération de Recherche''' regroupant plusieurs unités de recherche de la communauté scientifique lyonnaise, opérant dans le champ de la '''Biologie de l’environnement''' et de ses implications dans la domaine de la '''Santé globale''' (aussi bien humaine qu’animale ou végétale). Elle regroupe notamment les préoccupations agronomiques, vétérinaires ou de santé des environnements non anthropisés des unités membres.
* [[https://ecoleurbainedelyon.universite-lyon.fr/| Ecole Urbaine de Lyon]] L’'''École Urbaine de Lyon''' (EUL) est un programme « Institut Convergences » créé en juin 2017 dans le cadre du Plan d’Investissement d’Avenir (PIA2) par le Commissariat Général à l’Investissement (CGI). Elle est dirigée par Michel Lussault, Géographe, Professeur d’études urbaines à l’Ecole Normale Supérieure de Lyon (ENS). A travers son projet interdisciplinaire expérimental de recherche, de formation doctorale et de valorisation économique, sociale et culturelle des savoirs scientifiques, l’École Urbaine de Lyon innove en constituant un domaine nouveau de connaissance et d’expertise : l’'''urbain anthropocène'''.
* [[https://www.huma-num.fr/| huma-num]] '''Très Grande Infrastructure de Recherche des humanités numériques''' La principale mission de la TGIR Huma-Num est de construire, avec les communautés et à partir d’un pilotage scientifique, une infrastructure numérique de niveau international pour les SHS. Elle structure, par l’intermédiaire de consortiums regroupant des acteurs des communautés scientifiques et d’un réseau de points de présence dans les maisons des sciences de l’Homme (MSH), l’'''accompagnement des communautés scientifiques SHS en matière d’infrastructure numérique pour les données de la recherche'''.

=== 🗺️ Côté SIG / spatial ===

* [[http://gdr-magis.imag.fr/| GdR MAGIS]] Créé le 1er janvier 2009 et renouvelé en 2017 par le CNRS, le GdR MAGIS a pour missions 1) d’accompagner la recherche sur l’Information Géographique dans toute sa diversité, 2) de fédérer une communauté scientifique pluridisciplinaire en géomatique, 3) de diffuser les connaissances produites (résultats théoriques, méthodologiques et technologiques). Dans ce contexte, le GdR MAGIS développe 12 axes de recherches en géomatique et s’appuie notamment sur une compétence commune (la modélisation), une orientation forte (l’analyse spatiale), une approche partagée (l’interdisciplinarité).
=== 💧 Côté hydro / fluvial===

* [[https://asso.graie.org/portail/| GRAIE]] '''Groupe de Recherche, Animation technique et Information sur l'Eau'''. Il mobilise et met en relation des acteurs de la gestion de l'eau.
: Dispositifs associés
:* [[https://www.zabr.assograie.org/| ZABR]] '''Zone Atelier Bassin du Rhône''', dispositif scientifique d’observation du bassin du Rhône tourné vers les acteurs du territoire
:* [[https://ohm-vallee-du-rhone.in2p3.fr/| OHM VR]] L’'''Observatoire Homme-Milieux Vallée du Rhône''' est un dispositif de recherche créé en 2011 par l'Institut « Écologie et Environnement » (InEE) du CNRS et inscrit dans le '''LabEx DRIIHM (Dispositif de Recherche Interdisciplinaire sur les Interactions Hommes-Milieux)'''.
:* [[http://www.graie.org/osr/| OSR]] L’'''Observatoire des Sédiments du Rhône''' (OSR) a été créé en 2009 à la suite de questions qui ont émergé dans le cadre du Plan Rhône. Il a été mis en place par des équipes de recherche réparties sur l’ensemble du linéaire du fleuve.
:* [[http://www.graie.org/othu/index.htm| OTHU]] '''Observatoire de Terrain en Hydrologie Urbaine'''. L'OTHU est un laboratoire de recherche "hors murs" d''''observation des rejets urbains et de leurs impacts sur les milieux recepteurs - notamment par temps de pluie- sur la region lyonnaise ''' pour proposer de nouvelles solutions de conception et de gestion de l'assainissement. Cet observatoire a pour mission de produire, rassembler et gérer des données visant à caractériser les stocks et les flux sédimentaires, ainsi que les pollutions associées à ces sédiments.

== Par discipline ou spécialité ==

* Réseau Interdisciplinaire autour de la Statistique: [[https://ris.cnrs.fr/| RIS]]
* Réseau Méthodes Analyses Terrains Enquêtes en SHS [[https://mate-shs.cnrs.fr/| MATE-SHS]]

== Les listes de diffusion "maison" ==

* isig-support@listes.ens-lyon.fr
* info.evs.nord@listes.ens-lyon.fr
* hydrosystemes@listes.ens-lyon.fr

== Les listes de diffusion autres ==

* r-soc@groupes.renater.fr : Cette liste ouverte à tous a pour objet de faciliter les échanges, l'aide et le support pour l''''utilisation du logiciel R en sciences sociales'''.
* reseau_stats@services.cnrs.fr (liste de diffusion du RIS)
[[Catégorie:Vie du laboratoire]]

Questions-générales

2022-01-11T08:49:06Z

88.126.37.20 : mise en forme texte Discord

== Problème de lecture vidéo ==

'''Question de lvaudor'''
Je veux lire des vidéos MP4 (que j'ai moi-même enregistrées: j'ai le choix de l'encodage)
Mais quand je veux les lire pour voir si l'enregistrement est OK, il me dit que j'ai pas ce qu'il faut pour lire la vidéo
en l'occurrence il me demande le décodeur H.264

'''Réponse de sdunesme'''

VLC

apt install vlc
Clic droit > propriétés > Ouvrir avec
Tu sélectionne VLC et tu clique sur "définir par défaut"

== Traductions, concepts, formulations==

'''Question de lvaudor'''

Je cherche à exprimer l'idée que les rivières les villes et le lien entre les deux ne sont pas que l'objet de connaissances "physiques" ou "scientifiques" (sciences dures notamment) mais que ce sont aussi des objets "sociaux" qui font l'objet de connaissances générales/culturelles/"citoyennes"/historiques.
Je sais pas du tout comment le dire (en anglais)

Linked Open Data, on the other hand, could be an important (and generally overlooked) resource to characterize physical objects such as rivers or cities as items of citizen knowledge
mais "citizen knowledge" ça me va pas

'''Réponse de Marylise'''

Tu peux choisir l'entrée socio-écosystèmes : dire qu'ils ont à la fois une composante biophysique mais qu'ils sont aussi construits par la société et qu'ils sont appréhendés par le biais de perceptions, de représentations, de valeurs, d'usages...

Finalement:

Linked Open Data, on the other hand, could be an important (and generally overlooked) resource to characterize objects such as rivers or cities not only as physical objects but also as socio-ecosystems subject to general human knowledge, values and uses as well as perception and representation.

== Questions quant au fonctionnement du Discord ==

'''Question de lvaudor'''

différence entre "bannir" et "expulser"?
Faut faire quoi avec les vieux comptes en double-triple?

'''Réponse de Julien Godfroy'''
Expulser, la personne peut revenir sans soucis.
Bannir, elle a besoin de faire un nouveau compte, et possiblement aussi changer son IP.

=== Mise en forme du texte ===

du md un peu simplifié
[[https://support.discord.com/hc/fr/articles/210298617-Bases-de-la-mise-en-forme-de-texte-Markdown-mise-en-forme-du-chat-gras-italique-soulign%C3%A9-|mise en page texte sur Discord]]

== VPN ==

'''pbs chez lvaudor'''

Nécessité de réinstaller openvpn

== Adobe + Ubuntu = 💔 ==

'''Question de lvaudor'''

comment signer un pdf avec le système de signatures digitalisées d'Adobe
(et je crois pas que je puisse signer avec leur système sans Adobe)

'''Réponse de sdunesme'''

Pour Adobe, oui c'est la misère sous Linux 😢 Moi j'utilise la version windows que je fais tourner avec Wine. Ca marche à peu près dans la plupart des cas

== installation des nouvelles imprimantes ==

'''Pbs chez lvaudor, sdunesme'''

Cannot change printer-is-shared for remote queues.

'''Avis de Christine MN'''

Ca fonctionne pour moi mais je ne suis pas sous Ubuntu ...
[[https://intranet.ens-lyon.fr/documentation/impressions-et-copies-depuis-le-poste-de-travail|la procédure à suivre]]

Fonctionne pas. Fix de sdunesme:

"J'ai fini par mettre le pdf sur une clé et connecter la clé au copieur. C'était il y a quelques mois, quand ils ont installé les imprimantes
La doc a peut-être évolué depuis (elle était inexistante pour les postes sous linux à l'époque)." Solution également adoptée par Lise!

== Gitlab ISIG huma-num ==

[[https://gitlab.huma-num.fr/evs/git_info|gitlab ISIG huma-num]]

== Continuer à éditer cette page ==

Dans Discord, channel questions-générales, faire
!saveconv 885051020248514570 888401199013982228

Questions-générales

2022-01-11T08:43:33Z

88.126.37.20 : ajout gitlab huma-num

== Problème de lecture vidéo ==

'''Question de lvaudor'''
Je veux lire des vidéos MP4 (que j'ai moi-même enregistrées: j'ai le choix de l'encodage)
Mais quand je veux les lire pour voir si l'enregistrement est OK, il me dit que j'ai pas ce qu'il faut pour lire la vidéo
en l'occurrence il me demande le décodeur H.264

'''Réponse de sdunesme'''

VLC

apt install vlc
Clic droit > propriétés > Ouvrir avec
Tu sélectionne VLC et tu clique sur "définir par défaut"

== Traductions, concepts, formulations==

'''Question de lvaudor'''

Je cherche à exprimer l'idée que les rivières les villes et le lien entre les deux ne sont pas que l'objet de connaissances "physiques" ou "scientifiques" (sciences dures notamment) mais que ce sont aussi des objets "sociaux" qui font l'objet de connaissances générales/culturelles/"citoyennes"/historiques.
Je sais pas du tout comment le dire (en anglais)

Linked Open Data, on the other hand, could be an important (and generally overlooked) resource to characterize physical objects such as rivers or cities as items of citizen knowledge
mais "citizen knowledge" ça me va pas

'''Réponse de Marylise'''

Tu peux choisir l'entrée socio-écosystèmes : dire qu'ils ont à la fois une composante biophysique mais qu'ils sont aussi construits par la société et qu'ils sont appréhendés par le biais de perceptions, de représentations, de valeurs, d'usages...

Finalement:

Linked Open Data, on the other hand, could be an important (and generally overlooked) resource to characterize objects such as rivers or cities not only as physical objects but also as socio-ecosystems subject to general human knowledge, values and uses as well as perception and representation.

== Questions quant au fonctionnement du Discord ==

'''Question de lvaudor'''

différence entre "bannir" et "expulser"?
Faut faire quoi avec les vieux comptes en double-triple?

'''Réponse de Julien Godfroy'''
Expulser, la personne peut revenir sans soucis.
Bannir, elle a besoin de faire un nouveau compte, et possiblement aussi changer son IP.

== VPN ==

'''pbs chez lvaudor'''

Nécessité de réinstaller openvpn

== Adobe + Ubuntu = 💔 ==

'''Question de lvaudor'''

comment signer un pdf avec le système de signatures digitalisées d'Adobe
(et je crois pas que je puisse signer avec leur système sans Adobe)

'''Réponse de sdunesme'''

Pour Adobe, oui c'est la misère sous Linux 😢 Moi j'utilise la version windows que je fais tourner avec Wine. Ca marche à peu près dans la plupart des cas

== installation des nouvelles imprimantes ==

'''Pbs chez lvaudor, sdunesme'''

Cannot change printer-is-shared for remote queues.

'''Avis de Christine MN'''

Ca fonctionne pour moi mais je ne suis pas sous Ubuntu ...
[[https://intranet.ens-lyon.fr/documentation/impressions-et-copies-depuis-le-poste-de-travail|la procédure à suivre]]

Fonctionne pas. Fix de sdunesme:

"J'ai fini par mettre le pdf sur une clé et connecter la clé au copieur. C'était il y a quelques mois, quand ils ont installé les imprimantes
La doc a peut-être évolué depuis (elle était inexistante pour les postes sous linux à l'époque)." Solution également adoptée par Lise!

== Gitlab ISIG huma-num ==

[[https://gitlab.huma-num.fr/evs/git_info|gitlab ISIG huma-num]]

== Continuer à éditer cette page ==

Dans Discord, channel questions-générales, faire
!saveconv 885051020248514570 888401199013982228

Questions-générales

2022-01-10T17:15:59Z

88.126.37.20 : pour continuer l'édition

== Problème de lecture vidéo ==

'''Question de lvaudor'''
Je veux lire des vidéos MP4 (que j'ai moi-même enregistrées: j'ai le choix de l'encodage)
Mais quand je veux les lire pour voir si l'enregistrement est OK, il me dit que j'ai pas ce qu'il faut pour lire la vidéo
en l'occurrence il me demande le décodeur H.264

'''Réponse de sdunesme'''

VLC

apt install vlc
Clic droit > propriétés > Ouvrir avec
Tu sélectionne VLC et tu clique sur "définir par défaut"

== Traductions, concepts, formulations==

'''Question de lvaudor'''

Je cherche à exprimer l'idée que les rivières les villes et le lien entre les deux ne sont pas que l'objet de connaissances "physiques" ou "scientifiques" (sciences dures notamment) mais que ce sont aussi des objets "sociaux" qui font l'objet de connaissances générales/culturelles/"citoyennes"/historiques.
Je sais pas du tout comment le dire (en anglais)

Linked Open Data, on the other hand, could be an important (and generally overlooked) resource to characterize physical objects such as rivers or cities as items of citizen knowledge
mais "citizen knowledge" ça me va pas

'''Réponse de Marylise'''

Tu peux choisir l'entrée socio-écosystèmes : dire qu'ils ont à la fois une composante biophysique mais qu'ils sont aussi construits par la société et qu'ils sont appréhendés par le biais de perceptions, de représentations, de valeurs, d'usages...

Finalement:

Linked Open Data, on the other hand, could be an important (and generally overlooked) resource to characterize objects such as rivers or cities not only as physical objects but also as socio-ecosystems subject to general human knowledge, values and uses as well as perception and representation.

== Questions quant au fonctionnement du Discord ==

'''Question de lvaudor'''

différence entre "bannir" et "expulser"?
Faut faire quoi avec les vieux comptes en double-triple?

'''Réponse de Julien Godfroy'''
Expulser, la personne peut revenir sans soucis.
Bannir, elle a besoin de faire un nouveau compte, et possiblement aussi changer son IP.

== VPN ==

'''pbs chez lvaudor'''

Nécessité de réinstaller openvpn

== Adobe + Ubuntu = 💔 ==

'''Question de lvaudor'''

comment signer un pdf avec le système de signatures digitalisées d'Adobe
(et je crois pas que je puisse signer avec leur système sans Adobe)

'''Réponse de sdunesme'''

Pour Adobe, oui c'est la misère sous Linux 😢 Moi j'utilise la version windows que je fais tourner avec Wine. Ca marche à peu près dans la plupart des cas

== installation des nouvelles imprimantes ==

'''Pbs chez lvaudor, sdunesme'''

Cannot change printer-is-shared for remote queues.

'''Avis de Christine MN'''

Ca fonctionne pour moi mais je ne suis pas sous Ubuntu ...
[[https://intranet.ens-lyon.fr/documentation/impressions-et-copies-depuis-le-poste-de-travail|la procédure à suivre]]

Fonctionne pas. Fix de sdunesme:

"J'ai fini par mettre le pdf sur une clé et connecter la clé au copieur. C'était il y a quelques mois, quand ils ont installé les imprimantes
La doc a peut-être évolué depuis (elle était inexistante pour les postes sous linux à l'époque)." Solution également adoptée par Lise!

== Continuer à éditer cette page ==

Dans Discord, channel questions-générales, faire
!saveconv 885051020248514570 888401199013982228

Questions-r

2022-01-10T17:13:13Z

88.126.37.20 :

Cette page reprend la "substantifique moelle" des échanges ayant eu lieu sur le channel '''questions-r''' du Discord d'ISIG.

== Manipulation d'un nom de fichier ==

'''Question posée par martiste'''

Comment récupérer un morceau du nom du fichier ? Par exemple à partir de '''"zarsqdfqsfd33vezre20618402.csv''' on veut récupérer '''20618402'''.

'''Réponse de lvaudor et sdunesme'''

Combi des '''expressions régulières''' et de la fonction '''basename()''':

<syntaxhighlight lang="r">
"za/rsqd/fqsfd33vezre20618402.csv" %>%
basename() %>% # donne "fqsfd33vezre20618402.csv"
stringr::str_replace(".csv","") %>% # donne "fqsfd33vezre20618402"
stringr::str_extract(pattern=".{8}(?=\\.$)") # donne "20618402"
</syntaxhighlight>

== Reformattage d'un fichier en "longueur" ==

'''Question de mcottet'''

J'ai une bdd avec plusieurs variables catégorielles qui portent une info similaire (est ce que les gens ont vu l'espèce A un peu, bcp, passionnément, à la folie ; idem pour l'espèce B, C...). Et j'aimerais faire une somme pour savoir combien de fois l'individu 1 a répondu un peu à l'ensemble des espèces proposées, bcp à l'ensemble des espèces...
il y a 18 espèces (donc 18 variables)

'''Réponse de lvaudor'''

'''tidyr::pivot_longer()'''

Dans ta version de BDD, tu as 18 variables différentes
Mais en fait, tu pourrais considérer que ces 18 colonnes correspondent en fait à 2 colonnes (une colonne "espece" et une colonne "valeur")
Tu cherches de ce fait à répéter l'ensemble des autres colonnes (toutes celles qui ne font pas partie des 18 sus-mentionnées) 18 fois, mais "en hauteur".
Du coup, ton tableau qui est "plutôt large" devient un tableau "plutôt long"

Dans l'appel à la fonction, tu précises quelles sont les variables que tu récupères pour les mettre "en long"
et toutes les autres, il les répète à l'identique autant de fois que nécessaire

A une époque, ça s'appelait pas pivot_wider() et pivot_longer() mais spread() et gather()
(mais c'était moins explicite comme nom)

'''Question de martiste'''

J'arrive à aller chercher différents fichiers excel et à les "rbind" avec ça :
temp_data <- list.files(path_to_files, pattern = '*.xlsx') %>%
purrr::map_dfr(~readxl::read_xlsx(paste0(path_to_files, .x)))

Maintenant, chaque fichier contient un champ "date"... Comment pourrais-je faire pour qu'au lieu de les ajouter à la suite les uns des autres, je les joignent par date ?

J'ai 15 fichiers excels, que, jusqu'ici, je lis à la suite et colle les uns après les autres. Ce qu'il me faudrait, à présent, c'est une sorte de 'recast' en fait, mais avec comme identifiant commun une variable lubridate. Pour qu'au lieux d'avoir une colonne qui m'indique le nom du site (= le nom du fichier en entrée) et une autre une valeur de température, je me retrouve avec un tableau 'large' avec comme nom de colonne chacune des stations contenant sa valeur de température.

'''Réponse de defuneste et sduneme'''

do.call et/ou pivot_wider [[https://tidyr.tidyverse.org/articles/pivot.html#wider]]

C'est qu'est ce que j'avais essayé au départ, mais ça n'marchait pas...
Parce que j'avais une variable 'id' qui empêchait le regroupement de se faire correctement

<syntaxhighlight lang="r">
df %>%
select(timestamp, station, temperature) %>%
pivot_wider(names_from=station, values_from=temperature)
</syntaxhighlight>

'''Solution non-purrr'''

Chargement des library / installation

<syntaxhighlight lang="r">
# install.packages("tidyverse")
# install.packages("readxl")

# les données sont dans un répertoire enfant:

file_path <- list.files(path = "data",
pattern = "*.xlsx",
full.names = TRUE) # pas mal pour t'economiser un paste0

# une fonction qui lis un xlss
lis_un_fichier_excel <- function(un_chemin_de_fichier) {
readxl::read_xlsx(un_chemin_de_fichier)
}

# on teste
lis_un_fichier_excel(file_path[1])

# une liste de df
une_liste_de_tableau <- lapply(file_path, "lis_un_fichier_excel")

# on ajoute les lignes
mon_tableau_en_tidy <- do.call("rbind", une_liste_de_tableau)
mon_tableau_en_tidy
</syntaxhighlight>

== Complétion des données d'une série temporelle ==

'''Question de Théo'''

j'ai une série temporelle de hauteurs d'eau à pas de temps 15 min, mais il y a plein de trous dedans et je voudrais la compléter, en ajoutant l'heure manquante, et la hauteur d'eau manquante (moyenne de t-15 et t+15 si t est la valeur manquante).

'''Réponse de martiste'''

il faut que tu commences par te créer un index de temps à l'intervalle voulu, depuis ta première valeur jusqu'à la dernière, à laquelle tu joins ton jeu de données réel. Les trous vont alors apparaître en 'NA'. Et si tu n'as que quelques trous de jamais plus de 2 intervalles, tu peux utiliser la fonction zoo::na_approx() qui fera l'affaire...

<syntaxhighlight lang="r">
library(dplyr)
H_15_raw = readr::read_delim("H_15MIN_SB_CSV.csv", delim = ";") %>%
mutate(Date = lubridate::dmy_hm(Date))

timestamp = seq(from = min(H_15_raw$Date), to = max(H_15_raw$Date), by = "15 min") %>%
as_tibble() %>%
select(Date = value)

H_15_corr =
left_join(timestamp, H_15_raw, by ="Date") %>%
mutate(H_CM_SB_BH = zoo::na.approx(H_CM_SB_BH))
</syntaxhighlight>

Regarde ?na.approx pour plus de détails sur son fonctionnement

== Programmation fonctionnelle ==

'''Question de martiste'''

J'ai un jeu de données avec des températures à pas de temps horaire, le tout sur plusieurs années (et plusieurs stations). J'aimerais connaître, pour chaque année et pour chaque station, le nombre de séquences où la température a dépassé les 19°C, ainsi que la durée de la séquence la plus longue. Avec une boucle, j'aurais créé un nouveau champ pour lequel j'incrémente une valeur de séquence à chaque fois que T>19 et que T-1<19. Je regarde la valeur max de ma séquence, et la longueur max de ces séquences également. Mais comment faire sans boucle ?

'''Réponse de lvaudor'''

<syntaxhighlight lang="r">
get_sequences=function(donnees, Temp){
result = donnees %>%
mutate(change = case_when(chmes_valeur > Temp & lag(chmes_valeur <= Temp) ~ 1,
TRUE ~ 0)) %>%
mutate(sequence = case_when(chmes_valeur > Temp ~ cumsum(as.numeric(change)),
TRUE ~ NA_real_))
return(result)
}
result= dat %>%
group_by(chmes_coderhj,chmes_anneebiol) %>%
tidyr::nest() %>%
mutate(data=purrr::map(data,get_sequences,Temp=19)) %>%
tidyr::unnest(cols=c(data))
</syntaxhighlight>

ou bien (autre syntaxe possible pour map), comme ça:

<syntaxhighlight lang="r">
result= dat %>%
group_by(chmes_coderhj,chmes_anneebiol) %>%
tidyr::nest() %>%
mutate(data=purrr::map(data,~get_sequences(.,Temp=19))) %>%
tidyr::unnest(cols=c(data))
</syntaxhighlight>

Différence entre avec et sans '~' devant la fonction:

* soit map attend le nom d'une fonction
: Dans ce cas l'argument sur lequel il itère doit être le premier argument de la fonction
* soit map attend une formule (précédée d'un "~", donc)
: Dans ce cas il y a un peu plus de souplesse sur la position de l'argument sur lequel on itère

Tu pourrais dire ~ get_sequences(data, Temp=.) pour itérer sur une variable qui donnerait un seuil de température, par exemple
et non plus itérer sur le premier argument, "data"

Si tu donnes le nom de la fonction, tu peux quand-même rajouter des arguments "secondaires"
mais tu les rajoutes directement comme arguments optionnels à la fonction "map", pas dans un simulacre d'appel à la fonction que tu itères

L'utilisation des formules c'est un subtilité introduite pour gérer les fonctions qui n'ont pas les arguments "dans l'ordre le plus pratique au regard de ce qu'on souhaite faire".

'''Question complémentaire'''

Et, pour finir, si je veux en sortir 1) le nombre total de séquences, et 2) la durée de la séquence la plus longue, est-ce que tu me conseilles de l'inclure dans la fct 'get_sequences', ou de repartir des résultats de cette fonction et d'alimenter une nouvelle ?

''' Réponse '''
Le nombre de total de séquences et la durée de la séquence la plus longue, ce sont des "agrégations" de ce que tu as fait avant. Or, il est possible que tu veuilles utiliser les résultats de get_sequences tels quels (par exemple pour des graphiques). Donc il vaut mieux faire en sorte que cette agrégation ait lieu dans un second temps => définition d'une nouvelle fonction par exemple.

En revanche, je pense que tu pourrais faire tourner ce calcul avant de "unnest" car tes séquences n'ont pas des identifiants uniques en l'état (les identifiants ne sont uniques que au sein des sous-jeux de données imbriqués)

avec n_distinct, je chope le nb total de séquences
Pour choper la durée de la séquence la plus longue, tu suggérerais quoi ?
<syntaxhighlight lang="r">
... %>%
group_by(sequence) %>%
summarise(duration=max(time)-min(time)) %>%
ungroup() %>%
mutate(n_sequences=n()) %>%
top_n(1,duration)
</syntaxhighlight>

le mutate (n_sequences=n()) te rajoute le nombre de séquences sans résumer (ça répète autant de fois que nécessaire la valeur n_sequences)
du coup après quand tu gardes que la top duration t'as quand-même l'info qu'il te faut.

== Annonces de nouveau packages R ==

=== banqueHydro ===

[[https://github.com/lvaudor/banqueHydro]]

Pour "scraper" les données du site banqueHydro (en attendant l'API Hubeau [[https://github.com/BRGM/hubeau/projects]]).

== Annonces de formations/tutos/conf ==

* [[https://sigr2021.github.io/site/index.html|supports SIGR]] recommandé par defuneste
* [[https://blog.sellorm.com/2017/12/18/learn-to-write-command-line-utilities-in-r/|billet command line utilities in R]] recommandé par defuneste
* [[https://geocompr.robinlovelace.net/|geocomputation with R]] recommandé par defuneste

== Continuer l'édition ==

sur Discord, channel questions-r:

!saveconv 882172361246396427 883000807585374258

Questions-r

2022-01-10T17:10:51Z

88.126.37.20 : add geocomputation with R

Cette page reprend la "substantifique moelle" des échanges ayant eu lieu sur le channel '''questions-r''' du Discord d'ISIG.

== Manipulation d'un nom de fichier ==

'''Question posée par martiste'''

Comment récupérer un morceau du nom du fichier ? Par exemple à partir de '''"zarsqdfqsfd33vezre20618402.csv''' on veut récupérer '''20618402'''.

'''Réponse de lvaudor et sdunesme'''

Combi des '''expressions régulières''' et de la fonction '''basename()''':

<syntaxhighlight lang="r">
"za/rsqd/fqsfd33vezre20618402.csv" %>%
basename() %>% # donne "fqsfd33vezre20618402.csv"
stringr::str_replace(".csv","") %>% # donne "fqsfd33vezre20618402"
stringr::str_extract(pattern=".{8}(?=\\.$)") # donne "20618402"
</syntaxhighlight>

== Reformattage d'un fichier en "longueur" ==

'''Question de mcottet'''

J'ai une bdd avec plusieurs variables catégorielles qui portent une info similaire (est ce que les gens ont vu l'espèce A un peu, bcp, passionnément, à la folie ; idem pour l'espèce B, C...). Et j'aimerais faire une somme pour savoir combien de fois l'individu 1 a répondu un peu à l'ensemble des espèces proposées, bcp à l'ensemble des espèces...
il y a 18 espèces (donc 18 variables)

'''Réponse de lvaudor'''

'''tidyr::pivot_longer()'''

Dans ta version de BDD, tu as 18 variables différentes
Mais en fait, tu pourrais considérer que ces 18 colonnes correspondent en fait à 2 colonnes (une colonne "espece" et une colonne "valeur")
Tu cherches de ce fait à répéter l'ensemble des autres colonnes (toutes celles qui ne font pas partie des 18 sus-mentionnées) 18 fois, mais "en hauteur".
Du coup, ton tableau qui est "plutôt large" devient un tableau "plutôt long"

Dans l'appel à la fonction, tu précises quelles sont les variables que tu récupères pour les mettre "en long"
et toutes les autres, il les répète à l'identique autant de fois que nécessaire

A une époque, ça s'appelait pas pivot_wider() et pivot_longer() mais spread() et gather()
(mais c'était moins explicite comme nom)

'''Question de martiste'''

J'arrive à aller chercher différents fichiers excel et à les "rbind" avec ça :
temp_data <- list.files(path_to_files, pattern = '*.xlsx') %>%
purrr::map_dfr(~readxl::read_xlsx(paste0(path_to_files, .x)))

Maintenant, chaque fichier contient un champ "date"... Comment pourrais-je faire pour qu'au lieu de les ajouter à la suite les uns des autres, je les joignent par date ?

J'ai 15 fichiers excels, que, jusqu'ici, je lis à la suite et colle les uns après les autres. Ce qu'il me faudrait, à présent, c'est une sorte de 'recast' en fait, mais avec comme identifiant commun une variable lubridate. Pour qu'au lieux d'avoir une colonne qui m'indique le nom du site (= le nom du fichier en entrée) et une autre une valeur de température, je me retrouve avec un tableau 'large' avec comme nom de colonne chacune des stations contenant sa valeur de température.

'''Réponse de defuneste et sduneme'''

do.call et/ou pivot_wider [[https://tidyr.tidyverse.org/articles/pivot.html#wider]]

C'est qu'est ce que j'avais essayé au départ, mais ça n'marchait pas...
Parce que j'avais une variable 'id' qui empêchait le regroupement de se faire correctement

<syntaxhighlight lang="r">
df %>%
select(timestamp, station, temperature) %>%
pivot_wider(names_from=station, values_from=temperature)
</syntaxhighlight>

'''Solution non-purrr'''

Chargement des library / installation

<syntaxhighlight lang="r">
# install.packages("tidyverse")
# install.packages("readxl")

# les données sont dans un répertoire enfant:

file_path <- list.files(path = "data",
pattern = "*.xlsx",
full.names = TRUE) # pas mal pour t'economiser un paste0

# une fonction qui lis un xlss
lis_un_fichier_excel <- function(un_chemin_de_fichier) {
readxl::read_xlsx(un_chemin_de_fichier)
}

# on teste
lis_un_fichier_excel(file_path[1])

# une liste de df
une_liste_de_tableau <- lapply(file_path, "lis_un_fichier_excel")

# on ajoute les lignes
mon_tableau_en_tidy <- do.call("rbind", une_liste_de_tableau)
mon_tableau_en_tidy
</syntaxhighlight>

== Complétion des données d'une série temporelle ==

'''Question de Théo'''

j'ai une série temporelle de hauteurs d'eau à pas de temps 15 min, mais il y a plein de trous dedans et je voudrais la compléter, en ajoutant l'heure manquante, et la hauteur d'eau manquante (moyenne de t-15 et t+15 si t est la valeur manquante).

'''Réponse de martiste'''

il faut que tu commences par te créer un index de temps à l'intervalle voulu, depuis ta première valeur jusqu'à la dernière, à laquelle tu joins ton jeu de données réel. Les trous vont alors apparaître en 'NA'. Et si tu n'as que quelques trous de jamais plus de 2 intervalles, tu peux utiliser la fonction zoo::na_approx() qui fera l'affaire...

<syntaxhighlight lang="r">
library(dplyr)
H_15_raw = readr::read_delim("H_15MIN_SB_CSV.csv", delim = ";") %>%
mutate(Date = lubridate::dmy_hm(Date))

timestamp = seq(from = min(H_15_raw$Date), to = max(H_15_raw$Date), by = "15 min") %>%
as_tibble() %>%
select(Date = value)

H_15_corr =
left_join(timestamp, H_15_raw, by ="Date") %>%
mutate(H_CM_SB_BH = zoo::na.approx(H_CM_SB_BH))
</syntaxhighlight>

Regarde ?na.approx pour plus de détails sur son fonctionnement

== Programmation fonctionnelle ==

'''Question de martiste'''

J'ai un jeu de données avec des températures à pas de temps horaire, le tout sur plusieurs années (et plusieurs stations). J'aimerais connaître, pour chaque année et pour chaque station, le nombre de séquences où la température a dépassé les 19°C, ainsi que la durée de la séquence la plus longue. Avec une boucle, j'aurais créé un nouveau champ pour lequel j'incrémente une valeur de séquence à chaque fois que T>19 et que T-1<19. Je regarde la valeur max de ma séquence, et la longueur max de ces séquences également. Mais comment faire sans boucle ?

'''Réponse de lvaudor'''

<syntaxhighlight lang="r">
get_sequences=function(donnees, Temp){
result = donnees %>%
mutate(change = case_when(chmes_valeur > Temp & lag(chmes_valeur <= Temp) ~ 1,
TRUE ~ 0)) %>%
mutate(sequence = case_when(chmes_valeur > Temp ~ cumsum(as.numeric(change)),
TRUE ~ NA_real_))
return(result)
}
result= dat %>%
group_by(chmes_coderhj,chmes_anneebiol) %>%
tidyr::nest() %>%
mutate(data=purrr::map(data,get_sequences,Temp=19)) %>%
tidyr::unnest(cols=c(data))
</syntaxhighlight>

ou bien (autre syntaxe possible pour map), comme ça:

<syntaxhighlight lang="r">
result= dat %>%
group_by(chmes_coderhj,chmes_anneebiol) %>%
tidyr::nest() %>%
mutate(data=purrr::map(data,~get_sequences(.,Temp=19))) %>%
tidyr::unnest(cols=c(data))
</syntaxhighlight>

Différence entre avec et sans '~' devant la fonction:

* soit map attend le nom d'une fonction
: Dans ce cas l'argument sur lequel il itère doit être le premier argument de la fonction
* soit map attend une formule (précédée d'un "~", donc)
: Dans ce cas il y a un peu plus de souplesse sur la position de l'argument sur lequel on itère

Tu pourrais dire ~ get_sequences(data, Temp=.) pour itérer sur une variable qui donnerait un seuil de température, par exemple
et non plus itérer sur le premier argument, "data"

Si tu donnes le nom de la fonction, tu peux quand-même rajouter des arguments "secondaires"
mais tu les rajoutes directement comme arguments optionnels à la fonction "map", pas dans un simulacre d'appel à la fonction que tu itères

L'utilisation des formules c'est un subtilité introduite pour gérer les fonctions qui n'ont pas les arguments "dans l'ordre le plus pratique au regard de ce qu'on souhaite faire".

'''Question complémentaire'''

Et, pour finir, si je veux en sortir 1) le nombre total de séquences, et 2) la durée de la séquence la plus longue, est-ce que tu me conseilles de l'inclure dans la fct 'get_sequences', ou de repartir des résultats de cette fonction et d'alimenter une nouvelle ?

''' Réponse '''
Le nombre de total de séquences et la durée de la séquence la plus longue, ce sont des "agrégations" de ce que tu as fait avant. Or, il est possible que tu veuilles utiliser les résultats de get_sequences tels quels (par exemple pour des graphiques). Donc il vaut mieux faire en sorte que cette agrégation ait lieu dans un second temps => définition d'une nouvelle fonction par exemple.

En revanche, je pense que tu pourrais faire tourner ce calcul avant de "unnest" car tes séquences n'ont pas des identifiants uniques en l'état (les identifiants ne sont uniques que au sein des sous-jeux de données imbriqués)

avec n_distinct, je chope le nb total de séquences
Pour choper la durée de la séquence la plus longue, tu suggérerais quoi ?
<syntaxhighlight lang="r">
... %>%
group_by(sequence) %>%
summarise(duration=max(time)-min(time)) %>%
ungroup() %>%
mutate(n_sequences=n()) %>%
top_n(1,duration)
</syntaxhighlight>

le mutate (n_sequences=n()) te rajoute le nombre de séquences sans résumer (ça répète autant de fois que nécessaire la valeur n_sequences)
du coup après quand tu gardes que la top duration t'as quand-même l'info qu'il te faut.

== Annonces de nouveau packages R ==

=== banqueHydro ===

[[https://github.com/lvaudor/banqueHydro]]

Pour "scraper" les données du site banqueHydro (en attendant l'API Hubeau [[https://github.com/BRGM/hubeau/projects]]).

== Annonces de formations/tutos/conf ==
* [[https://sigr2021.github.io/site/index.html|supports SIGR]] recommandé par defuneste
* [[https://blog.sellorm.com/2017/12/18/learn-to-write-command-line-utilities-in-r/|billet command line utilities in R]] recommandé par defuneste
* [[https://geocompr.robinlovelace.net/index.html|geocomputation with R]] recommandé par defuneste

== Continuer l'édition ==

sur Discord, channel questions-r:

!saveconv 882172361246396427 883000807585374258

Questions-générales

2022-01-10T17:06:04Z

88.126.37.20 : pb vpn , adobe, imprimantes

== Problème de lecture vidéo ==

'''Question de lvaudor'''
Je veux lire des vidéos MP4 (que j'ai moi-même enregistrées: j'ai le choix de l'encodage)
Mais quand je veux les lire pour voir si l'enregistrement est OK, il me dit que j'ai pas ce qu'il faut pour lire la vidéo
en l'occurrence il me demande le décodeur H.264

'''Réponse de sdunesme'''

VLC

apt install vlc
Clic droit > propriétés > Ouvrir avec
Tu sélectionne VLC et tu clique sur "définir par défaut"

== Traductions, concepts, formulations==

'''Question de lvaudor'''

Je cherche à exprimer l'idée que les rivières les villes et le lien entre les deux ne sont pas que l'objet de connaissances "physiques" ou "scientifiques" (sciences dures notamment) mais que ce sont aussi des objets "sociaux" qui font l'objet de connaissances générales/culturelles/"citoyennes"/historiques.
Je sais pas du tout comment le dire (en anglais)

Linked Open Data, on the other hand, could be an important (and generally overlooked) resource to characterize physical objects such as rivers or cities as items of citizen knowledge
mais "citizen knowledge" ça me va pas

'''Réponse de Marylise'''

Tu peux choisir l'entrée socio-écosystèmes : dire qu'ils ont à la fois une composante biophysique mais qu'ils sont aussi construits par la société et qu'ils sont appréhendés par le biais de perceptions, de représentations, de valeurs, d'usages...

Finalement:

Linked Open Data, on the other hand, could be an important (and generally overlooked) resource to characterize objects such as rivers or cities not only as physical objects but also as socio-ecosystems subject to general human knowledge, values and uses as well as perception and representation.

== Questions quant au fonctionnement du Discord ==

'''Question de lvaudor'''

différence entre "bannir" et "expulser"?
Faut faire quoi avec les vieux comptes en double-triple?

'''Réponse de Julien Godfroy'''
Expulser, la personne peut revenir sans soucis.
Bannir, elle a besoin de faire un nouveau compte, et possiblement aussi changer son IP.

== VPN ==

'''pbs chez lvaudor'''

Nécessité de réinstaller openvpn

== Adobe + Ubuntu = 💔 ==

'''Question de lvaudor'''

comment signer un pdf avec le système de signatures digitalisées d'Adobe
(et je crois pas que je puisse signer avec leur système sans Adobe)

'''Réponse de sdunesme'''

Pour Adobe, oui c'est la misère sous Linux 😢 Moi j'utilise la version windows que je fais tourner avec Wine. Ca marche à peu près dans la plupart des cas

== installation des nouvelles imprimantes ==

'''Pbs chez lvaudor, sdunesme'''

Cannot change printer-is-shared for remote queues.

'''Avis de Christine MN'''

Ca fonctionne pour moi mais je ne suis pas sous Ubuntu ...
[[https://intranet.ens-lyon.fr/documentation/impressions-et-copies-depuis-le-poste-de-travail|la procédure à suivre]]

Fonctionne pas. Fix de sdunesme:

"J'ai fini par mettre le pdf sur une clé et connecter la clé au copieur. C'était il y a quelques mois, quand ils ont installé les imprimantes
La doc a peut-être évolué depuis (elle était inexistante pour les postes sous linux à l'époque)." Solution également adoptée par Lise!

Questions-générales

2022-01-10T16:52:34Z

88.126.37.20 : Ajout reformulation

Questions-générales

2022-01-10T16:40:49Z

88.126.37.20 : pb video codecs

Questions-r

2022-01-10T16:32:21Z

88.126.37.20 : pour continuer l'édition

Cette page reprend la "substantifique moelle" des échanges ayant eu lieu sur le channel '''questions-r''' du Discord d'ISIG.

== Manipulation d'un nom de fichier ==

'''Question posée par martiste'''

Comment récupérer un morceau du nom du fichier ? Par exemple à partir de '''"zarsqdfqsfd33vezre20618402.csv''' on veut récupérer '''20618402'''.

'''Réponse de lvaudor et sdunesme'''

Combi des '''expressions régulières''' et de la fonction '''basename()''':

<syntaxhighlight lang="r">
"za/rsqd/fqsfd33vezre20618402.csv" %>%
basename() %>% # donne "fqsfd33vezre20618402.csv"
stringr::str_replace(".csv","") %>% # donne "fqsfd33vezre20618402"
stringr::str_extract(pattern=".{8}(?=\\.$)") # donne "20618402"
</syntaxhighlight>

== Reformattage d'un fichier en "longueur" ==

'''Question de mcottet'''

J'ai une bdd avec plusieurs variables catégorielles qui portent une info similaire (est ce que les gens ont vu l'espèce A un peu, bcp, passionnément, à la folie ; idem pour l'espèce B, C...). Et j'aimerais faire une somme pour savoir combien de fois l'individu 1 a répondu un peu à l'ensemble des espèces proposées, bcp à l'ensemble des espèces...
il y a 18 espèces (donc 18 variables)

'''Réponse de lvaudor'''

'''tidyr::pivot_longer()'''

Dans ta version de BDD, tu as 18 variables différentes
Mais en fait, tu pourrais considérer que ces 18 colonnes correspondent en fait à 2 colonnes (une colonne "espece" et une colonne "valeur")
Tu cherches de ce fait à répéter l'ensemble des autres colonnes (toutes celles qui ne font pas partie des 18 sus-mentionnées) 18 fois, mais "en hauteur".
Du coup, ton tableau qui est "plutôt large" devient un tableau "plutôt long"

Dans l'appel à la fonction, tu précises quelles sont les variables que tu récupères pour les mettre "en long"
et toutes les autres, il les répète à l'identique autant de fois que nécessaire

A une époque, ça s'appelait pas pivot_wider() et pivot_longer() mais spread() et gather()
(mais c'était moins explicite comme nom)

'''Question de martiste'''

J'arrive à aller chercher différents fichiers excel et à les "rbind" avec ça :
temp_data <- list.files(path_to_files, pattern = '*.xlsx') %>%
purrr::map_dfr(~readxl::read_xlsx(paste0(path_to_files, .x)))

Maintenant, chaque fichier contient un champ "date"... Comment pourrais-je faire pour qu'au lieu de les ajouter à la suite les uns des autres, je les joignent par date ?

J'ai 15 fichiers excels, que, jusqu'ici, je lis à la suite et colle les uns après les autres. Ce qu'il me faudrait, à présent, c'est une sorte de 'recast' en fait, mais avec comme identifiant commun une variable lubridate. Pour qu'au lieux d'avoir une colonne qui m'indique le nom du site (= le nom du fichier en entrée) et une autre une valeur de température, je me retrouve avec un tableau 'large' avec comme nom de colonne chacune des stations contenant sa valeur de température.

'''Réponse de defuneste et sduneme'''

do.call et/ou pivot_wider [[https://tidyr.tidyverse.org/articles/pivot.html#wider]]

C'est qu'est ce que j'avais essayé au départ, mais ça n'marchait pas...
Parce que j'avais une variable 'id' qui empêchait le regroupement de se faire correctement

<syntaxhighlight lang="r">
df %>%
select(timestamp, station, temperature) %>%
pivot_wider(names_from=station, values_from=temperature)
</syntaxhighlight>

'''Solution non-purrr'''

Chargement des library / installation

<syntaxhighlight lang="r">
# install.packages("tidyverse")
# install.packages("readxl")

# les données sont dans un répertoire enfant:

file_path <- list.files(path = "data",
pattern = "*.xlsx",
full.names = TRUE) # pas mal pour t'economiser un paste0

# une fonction qui lis un xlss
lis_un_fichier_excel <- function(un_chemin_de_fichier) {
readxl::read_xlsx(un_chemin_de_fichier)
}

# on teste
lis_un_fichier_excel(file_path[1])

# une liste de df
une_liste_de_tableau <- lapply(file_path, "lis_un_fichier_excel")

# on ajoute les lignes
mon_tableau_en_tidy <- do.call("rbind", une_liste_de_tableau)
mon_tableau_en_tidy
</syntaxhighlight>

== Complétion des données d'une série temporelle ==

'''Question de Théo'''

j'ai une série temporelle de hauteurs d'eau à pas de temps 15 min, mais il y a plein de trous dedans et je voudrais la compléter, en ajoutant l'heure manquante, et la hauteur d'eau manquante (moyenne de t-15 et t+15 si t est la valeur manquante).

'''Réponse de martiste'''

il faut que tu commences par te créer un index de temps à l'intervalle voulu, depuis ta première valeur jusqu'à la dernière, à laquelle tu joins ton jeu de données réel. Les trous vont alors apparaître en 'NA'. Et si tu n'as que quelques trous de jamais plus de 2 intervalles, tu peux utiliser la fonction zoo::na_approx() qui fera l'affaire...

<syntaxhighlight lang="r">
library(dplyr)
H_15_raw = readr::read_delim("H_15MIN_SB_CSV.csv", delim = ";") %>%
mutate(Date = lubridate::dmy_hm(Date))

timestamp = seq(from = min(H_15_raw$Date), to = max(H_15_raw$Date), by = "15 min") %>%
as_tibble() %>%
select(Date = value)

H_15_corr =
left_join(timestamp, H_15_raw, by ="Date") %>%
mutate(H_CM_SB_BH = zoo::na.approx(H_CM_SB_BH))
</syntaxhighlight>

Regarde ?na.approx pour plus de détails sur son fonctionnement

== Programmation fonctionnelle ==

'''Question de martiste'''

J'ai un jeu de données avec des températures à pas de temps horaire, le tout sur plusieurs années (et plusieurs stations). J'aimerais connaître, pour chaque année et pour chaque station, le nombre de séquences où la température a dépassé les 19°C, ainsi que la durée de la séquence la plus longue. Avec une boucle, j'aurais créé un nouveau champ pour lequel j'incrémente une valeur de séquence à chaque fois que T>19 et que T-1<19. Je regarde la valeur max de ma séquence, et la longueur max de ces séquences également. Mais comment faire sans boucle ?

'''Réponse de lvaudor'''

<syntaxhighlight lang="r">
get_sequences=function(donnees, Temp){
result = donnees %>%
mutate(change = case_when(chmes_valeur > Temp & lag(chmes_valeur <= Temp) ~ 1,
TRUE ~ 0)) %>%
mutate(sequence = case_when(chmes_valeur > Temp ~ cumsum(as.numeric(change)),
TRUE ~ NA_real_))
return(result)
}
result= dat %>%
group_by(chmes_coderhj,chmes_anneebiol) %>%
tidyr::nest() %>%
mutate(data=purrr::map(data,get_sequences,Temp=19)) %>%
tidyr::unnest(cols=c(data))
</syntaxhighlight>

ou bien (autre syntaxe possible pour map), comme ça:

<syntaxhighlight lang="r">
result= dat %>%
group_by(chmes_coderhj,chmes_anneebiol) %>%
tidyr::nest() %>%
mutate(data=purrr::map(data,~get_sequences(.,Temp=19))) %>%
tidyr::unnest(cols=c(data))
</syntaxhighlight>

Différence entre avec et sans '~' devant la fonction:

* soit map attend le nom d'une fonction
: Dans ce cas l'argument sur lequel il itère doit être le premier argument de la fonction
* soit map attend une formule (précédée d'un "~", donc)
: Dans ce cas il y a un peu plus de souplesse sur la position de l'argument sur lequel on itère

Tu pourrais dire ~ get_sequences(data, Temp=.) pour itérer sur une variable qui donnerait un seuil de température, par exemple
et non plus itérer sur le premier argument, "data"

Si tu donnes le nom de la fonction, tu peux quand-même rajouter des arguments "secondaires"
mais tu les rajoutes directement comme arguments optionnels à la fonction "map", pas dans un simulacre d'appel à la fonction que tu itères

L'utilisation des formules c'est un subtilité introduite pour gérer les fonctions qui n'ont pas les arguments "dans l'ordre le plus pratique au regard de ce qu'on souhaite faire".

'''Question complémentaire'''

Et, pour finir, si je veux en sortir 1) le nombre total de séquences, et 2) la durée de la séquence la plus longue, est-ce que tu me conseilles de l'inclure dans la fct 'get_sequences', ou de repartir des résultats de cette fonction et d'alimenter une nouvelle ?

''' Réponse '''
Le nombre de total de séquences et la durée de la séquence la plus longue, ce sont des "agrégations" de ce que tu as fait avant. Or, il est possible que tu veuilles utiliser les résultats de get_sequences tels quels (par exemple pour des graphiques). Donc il vaut mieux faire en sorte que cette agrégation ait lieu dans un second temps => définition d'une nouvelle fonction par exemple.

En revanche, je pense que tu pourrais faire tourner ce calcul avant de "unnest" car tes séquences n'ont pas des identifiants uniques en l'état (les identifiants ne sont uniques que au sein des sous-jeux de données imbriqués)

avec n_distinct, je chope le nb total de séquences
Pour choper la durée de la séquence la plus longue, tu suggérerais quoi ?
<syntaxhighlight lang="r">
... %>%
group_by(sequence) %>%
summarise(duration=max(time)-min(time)) %>%
ungroup() %>%
mutate(n_sequences=n()) %>%
top_n(1,duration)
</syntaxhighlight>

le mutate (n_sequences=n()) te rajoute le nombre de séquences sans résumer (ça répète autant de fois que nécessaire la valeur n_sequences)
du coup après quand tu gardes que la top duration t'as quand-même l'info qu'il te faut.

== Annonces de nouveau packages R ==

=== banqueHydro ===

[[https://github.com/lvaudor/banqueHydro]]

Pour "scraper" les données du site banqueHydro (en attendant l'API Hubeau [[https://github.com/BRGM/hubeau/projects]]).

== Annonces de formations/tutos/conf ==
* [[https://sigr2021.github.io/site/index.html|supports SIGR]] recommandé par defuneste
* [[https://blog.sellorm.com/2017/12/18/learn-to-write-command-line-utilities-in-r/|billet command line utilities in R]] recommandé par defuneste

== Continuer l'édition ==

sur Discord, channel questions-r:

!saveconv 882172361246396427 883000807585374258

Questions-r

2022-01-10T16:27:05Z

88.126.37.20 : /* Reformattage d'un fichier en "longueur" */

Cette page reprend la "substantifique moelle" des échanges ayant eu lieu sur le channel '''questions-r''' du Discord d'ISIG.

== Manipulation d'un nom de fichier ==

'''Question posée par martiste'''

Comment récupérer un morceau du nom du fichier ? Par exemple à partir de '''"zarsqdfqsfd33vezre20618402.csv''' on veut récupérer '''20618402'''.

'''Réponse de lvaudor et sdunesme'''

Combi des '''expressions régulières''' et de la fonction '''basename()''':

<syntaxhighlight lang="r">
"za/rsqd/fqsfd33vezre20618402.csv" %>%
basename() %>% # donne "fqsfd33vezre20618402.csv"
stringr::str_replace(".csv","") %>% # donne "fqsfd33vezre20618402"
stringr::str_extract(pattern=".{8}(?=\\.$)") # donne "20618402"
</syntaxhighlight>

== Reformattage d'un fichier en "longueur" ==

'''Question de mcottet'''

J'ai une bdd avec plusieurs variables catégorielles qui portent une info similaire (est ce que les gens ont vu l'espèce A un peu, bcp, passionnément, à la folie ; idem pour l'espèce B, C...). Et j'aimerais faire une somme pour savoir combien de fois l'individu 1 a répondu un peu à l'ensemble des espèces proposées, bcp à l'ensemble des espèces...
il y a 18 espèces (donc 18 variables)

'''Réponse de lvaudor'''

'''tidyr::pivot_longer()'''

Dans ta version de BDD, tu as 18 variables différentes
Mais en fait, tu pourrais considérer que ces 18 colonnes correspondent en fait à 2 colonnes (une colonne "espece" et une colonne "valeur")
Tu cherches de ce fait à répéter l'ensemble des autres colonnes (toutes celles qui ne font pas partie des 18 sus-mentionnées) 18 fois, mais "en hauteur".
Du coup, ton tableau qui est "plutôt large" devient un tableau "plutôt long"

Dans l'appel à la fonction, tu précises quelles sont les variables que tu récupères pour les mettre "en long"
et toutes les autres, il les répète à l'identique autant de fois que nécessaire

A une époque, ça s'appelait pas pivot_wider() et pivot_longer() mais spread() et gather()
(mais c'était moins explicite comme nom)

'''Question de martiste'''

J'arrive à aller chercher différents fichiers excel et à les "rbind" avec ça :
temp_data <- list.files(path_to_files, pattern = '*.xlsx') %>%
purrr::map_dfr(~readxl::read_xlsx(paste0(path_to_files, .x)))

Maintenant, chaque fichier contient un champ "date"... Comment pourrais-je faire pour qu'au lieu de les ajouter à la suite les uns des autres, je les joignent par date ?

J'ai 15 fichiers excels, que, jusqu'ici, je lis à la suite et colle les uns après les autres. Ce qu'il me faudrait, à présent, c'est une sorte de 'recast' en fait, mais avec comme identifiant commun une variable lubridate. Pour qu'au lieux d'avoir une colonne qui m'indique le nom du site (= le nom du fichier en entrée) et une autre une valeur de température, je me retrouve avec un tableau 'large' avec comme nom de colonne chacune des stations contenant sa valeur de température.

'''Réponse de defuneste et sduneme'''

do.call et/ou pivot_wider [[https://tidyr.tidyverse.org/articles/pivot.html#wider]]

C'est qu'est ce que j'avais essayé au départ, mais ça n'marchait pas...
Parce que j'avais une variable 'id' qui empêchait le regroupement de se faire correctement

<syntaxhighlight lang="r">
df %>%
select(timestamp, station, temperature) %>%
pivot_wider(names_from=station, values_from=temperature)
</syntaxhighlight>

'''Solution non-purrr'''

Chargement des library / installation

<syntaxhighlight lang="r">
# install.packages("tidyverse")
# install.packages("readxl")

# les données sont dans un répertoire enfant:

file_path <- list.files(path = "data",
pattern = "*.xlsx",
full.names = TRUE) # pas mal pour t'economiser un paste0

# une fonction qui lis un xlss
lis_un_fichier_excel <- function(un_chemin_de_fichier) {
readxl::read_xlsx(un_chemin_de_fichier)
}

# on teste
lis_un_fichier_excel(file_path[1])

# une liste de df
une_liste_de_tableau <- lapply(file_path, "lis_un_fichier_excel")

# on ajoute les lignes
mon_tableau_en_tidy <- do.call("rbind", une_liste_de_tableau)
mon_tableau_en_tidy
</syntaxhighlight>

== Complétion des données d'une série temporelle ==

'''Question de Théo'''

j'ai une série temporelle de hauteurs d'eau à pas de temps 15 min, mais il y a plein de trous dedans et je voudrais la compléter, en ajoutant l'heure manquante, et la hauteur d'eau manquante (moyenne de t-15 et t+15 si t est la valeur manquante).

'''Réponse de martiste'''

il faut que tu commences par te créer un index de temps à l'intervalle voulu, depuis ta première valeur jusqu'à la dernière, à laquelle tu joins ton jeu de données réel. Les trous vont alors apparaître en 'NA'. Et si tu n'as que quelques trous de jamais plus de 2 intervalles, tu peux utiliser la fonction zoo::na_approx() qui fera l'affaire...

<syntaxhighlight lang="r">
library(dplyr)
H_15_raw = readr::read_delim("H_15MIN_SB_CSV.csv", delim = ";") %>%
mutate(Date = lubridate::dmy_hm(Date))

timestamp = seq(from = min(H_15_raw$Date), to = max(H_15_raw$Date), by = "15 min") %>%
as_tibble() %>%
select(Date = value)

H_15_corr =
left_join(timestamp, H_15_raw, by ="Date") %>%
mutate(H_CM_SB_BH = zoo::na.approx(H_CM_SB_BH))
</syntaxhighlight>

Regarde ?na.approx pour plus de détails sur son fonctionnement

== Programmation fonctionnelle ==

'''Question de martiste'''

J'ai un jeu de données avec des températures à pas de temps horaire, le tout sur plusieurs années (et plusieurs stations). J'aimerais connaître, pour chaque année et pour chaque station, le nombre de séquences où la température a dépassé les 19°C, ainsi que la durée de la séquence la plus longue. Avec une boucle, j'aurais créé un nouveau champ pour lequel j'incrémente une valeur de séquence à chaque fois que T>19 et que T-1<19. Je regarde la valeur max de ma séquence, et la longueur max de ces séquences également. Mais comment faire sans boucle ?

'''Réponse de lvaudor'''

<syntaxhighlight lang="r">
get_sequences=function(donnees, Temp){
result = donnees %>%
mutate(change = case_when(chmes_valeur > Temp & lag(chmes_valeur <= Temp) ~ 1,
TRUE ~ 0)) %>%
mutate(sequence = case_when(chmes_valeur > Temp ~ cumsum(as.numeric(change)),
TRUE ~ NA_real_))
return(result)
}
result= dat %>%
group_by(chmes_coderhj,chmes_anneebiol) %>%
tidyr::nest() %>%
mutate(data=purrr::map(data,get_sequences,Temp=19)) %>%
tidyr::unnest(cols=c(data))
</syntaxhighlight>

ou bien (autre syntaxe possible pour map), comme ça:

<syntaxhighlight lang="r">
result= dat %>%
group_by(chmes_coderhj,chmes_anneebiol) %>%
tidyr::nest() %>%
mutate(data=purrr::map(data,~get_sequences(.,Temp=19))) %>%
tidyr::unnest(cols=c(data))
</syntaxhighlight>

Différence entre avec et sans '~' devant la fonction:

* soit map attend le nom d'une fonction
: Dans ce cas l'argument sur lequel il itère doit être le premier argument de la fonction
* soit map attend une formule (précédée d'un "~", donc)
: Dans ce cas il y a un peu plus de souplesse sur la position de l'argument sur lequel on itère

Tu pourrais dire ~ get_sequences(data, Temp=.) pour itérer sur une variable qui donnerait un seuil de température, par exemple
et non plus itérer sur le premier argument, "data"

Si tu donnes le nom de la fonction, tu peux quand-même rajouter des arguments "secondaires"
mais tu les rajoutes directement comme arguments optionnels à la fonction "map", pas dans un simulacre d'appel à la fonction que tu itères

L'utilisation des formules c'est un subtilité introduite pour gérer les fonctions qui n'ont pas les arguments "dans l'ordre le plus pratique au regard de ce qu'on souhaite faire".

'''Question complémentaire'''

Et, pour finir, si je veux en sortir 1) le nombre total de séquences, et 2) la durée de la séquence la plus longue, est-ce que tu me conseilles de l'inclure dans la fct 'get_sequences', ou de repartir des résultats de cette fonction et d'alimenter une nouvelle ?

''' Réponse '''
Le nombre de total de séquences et la durée de la séquence la plus longue, ce sont des "agrégations" de ce que tu as fait avant. Or, il est possible que tu veuilles utiliser les résultats de get_sequences tels quels (par exemple pour des graphiques). Donc il vaut mieux faire en sorte que cette agrégation ait lieu dans un second temps => définition d'une nouvelle fonction par exemple.

En revanche, je pense que tu pourrais faire tourner ce calcul avant de "unnest" car tes séquences n'ont pas des identifiants uniques en l'état (les identifiants ne sont uniques que au sein des sous-jeux de données imbriqués)

avec n_distinct, je chope le nb total de séquences
Pour choper la durée de la séquence la plus longue, tu suggérerais quoi ?
<syntaxhighlight lang="r">
... %>%
group_by(sequence) %>%
summarise(duration=max(time)-min(time)) %>%
ungroup() %>%
mutate(n_sequences=n()) %>%
top_n(1,duration)
</syntaxhighlight>

le mutate (n_sequences=n()) te rajoute le nombre de séquences sans résumer (ça répète autant de fois que nécessaire la valeur n_sequences)
du coup après quand tu gardes que la top duration t'as quand-même l'info qu'il te faut
== Annonces de nouveau packages R ==

=== banqueHydro ===

[[https://github.com/lvaudor/banqueHydro]]

Pour "scraper" les données du site banqueHydro (en attendant l'API Hubeau [[https://github.com/BRGM/hubeau/projects]]).

== Annonces de formations/tutos/conf ==
* [[https://sigr2021.github.io/site/index.html|supports SIGR]] recommandé par defuneste
* [[https://blog.sellorm.com/2017/12/18/learn-to-write-command-line-utilities-in-r/|billet command line utilities in R]] recommandé par defuneste

Questions-r

2022-01-10T16:15:07Z

88.126.37.20 : /* Annonces de formations/tutos/conf */

Cette page reprend la "substantifique moelle" des échanges ayant eu lieu sur le channel '''questions-r''' du Discord d'ISIG.

== Manipulation d'un nom de fichier ==

'''Question posée par martiste'''

Comment récupérer un morceau du nom du fichier ? Par exemple à partir de '''"zarsqdfqsfd33vezre20618402.csv''' on veut récupérer '''20618402'''.

'''Réponse de lvaudor et sdunesme'''

Combi des '''expressions régulières''' et de la fonction '''basename()''':

<syntaxhighlight lang="r">
"za/rsqd/fqsfd33vezre20618402.csv" %>%
basename() %>% # donne "fqsfd33vezre20618402.csv"
stringr::str_replace(".csv","") %>% # donne "fqsfd33vezre20618402"
stringr::str_extract(pattern=".{8}(?=\\.$)") # donne "20618402"
</syntaxhighlight>

== Reformattage d'un fichier en "longueur" ==

'''Question de mcottet'''

J'ai une bdd avec plusieurs variables catégorielles qui portent une info similaire (est ce que les gens ont vu l'espèce A un peu, bcp, passionnément, à la folie ; idem pour l'espèce B, C...). Et j'aimerais faire une somme pour savoir combien de fois l'individu 1 a répondu un peu à l'ensemble des espèces proposées, bcp à l'ensemble des espèces...
il y a 18 espèces (donc 18 variables)

'''Réponse de lvaudor'''

'''tidyr::pivot_longer()'''

Dans ta version de BDD, tu as 18 variables différentes
Mais en fait, tu pourrais considérer que ces 18 colonnes correspondent en fait à 2 colonnes (une colonne "espece" et une colonne "valeur")
Tu cherches de ce fait à répéter l'ensemble des autres colonnes (toutes celles qui ne font pas partie des 18 sus-mentionnées) 18 fois, mais "en hauteur".
Du coup, ton tableau qui est "plutôt large" devient un tableau "plutôt long"

Dans l'appel à la fonction, tu précises quelles sont les variables que tu récupères pour les mettre "en long"
et toutes les autres, il les répète à l'identique autant de fois que nécessaire

A une époque, ça s'appelait pas pivot_wider() et pivot_longer() mais spread() et gather()
(mais c'était moins explicite comme nom)

== Complétion des données d'une série temporelle ==

'''Question de Théo'''

j'ai une série temporelle de hauteurs d'eau à pas de temps 15 min, mais il y a plein de trous dedans et je voudrais la compléter, en ajoutant l'heure manquante, et la hauteur d'eau manquante (moyenne de t-15 et t+15 si t est la valeur manquante).

'''Réponse de martiste'''

il faut que tu commences par te créer un index de temps à l'intervalle voulu, depuis ta première valeur jusqu'à la dernière, à laquelle tu joins ton jeu de données réel. Les trous vont alors apparaître en 'NA'. Et si tu n'as que quelques trous de jamais plus de 2 intervalles, tu peux utiliser la fonction zoo::na_approx() qui fera l'affaire...

<syntaxhighlight lang="r">
library(dplyr)
H_15_raw = readr::read_delim("H_15MIN_SB_CSV.csv", delim = ";") %>%
mutate(Date = lubridate::dmy_hm(Date))

timestamp = seq(from = min(H_15_raw$Date), to = max(H_15_raw$Date), by = "15 min") %>%
as_tibble() %>%
select(Date = value)

H_15_corr =
left_join(timestamp, H_15_raw, by ="Date") %>%
mutate(H_CM_SB_BH = zoo::na.approx(H_CM_SB_BH))
</syntaxhighlight>

Regarde ?na.approx pour plus de détails sur son fonctionnement

== Programmation fonctionnelle ==

'''Question de martiste'''

J'ai un jeu de données avec des températures à pas de temps horaire, le tout sur plusieurs années (et plusieurs stations). J'aimerais connaître, pour chaque année et pour chaque station, le nombre de séquences où la température a dépassé les 19°C, ainsi que la durée de la séquence la plus longue. Avec une boucle, j'aurais créé un nouveau champ pour lequel j'incrémente une valeur de séquence à chaque fois que T>19 et que T-1<19. Je regarde la valeur max de ma séquence, et la longueur max de ces séquences également. Mais comment faire sans boucle ?

'''Réponse de lvaudor'''

<syntaxhighlight lang="r">
get_sequences=function(donnees, Temp){
result = donnees %>%
mutate(change = case_when(chmes_valeur > Temp & lag(chmes_valeur <= Temp) ~ 1,
TRUE ~ 0)) %>%
mutate(sequence = case_when(chmes_valeur > Temp ~ cumsum(as.numeric(change)),
TRUE ~ NA_real_))
return(result)
}
result= dat %>%
group_by(chmes_coderhj,chmes_anneebiol) %>%
tidyr::nest() %>%
mutate(data=purrr::map(data,get_sequences,Temp=19)) %>%
tidyr::unnest(cols=c(data))
</syntaxhighlight>

ou bien (autre syntaxe possible pour map), comme ça:

<syntaxhighlight lang="r">
result= dat %>%
group_by(chmes_coderhj,chmes_anneebiol) %>%
tidyr::nest() %>%
mutate(data=purrr::map(data,~get_sequences(.,Temp=19))) %>%
tidyr::unnest(cols=c(data))
</syntaxhighlight>

Différence entre avec et sans '~' devant la fonction:

* soit map attend le nom d'une fonction
: Dans ce cas l'argument sur lequel il itère doit être le premier argument de la fonction
* soit map attend une formule (précédée d'un "~", donc)
: Dans ce cas il y a un peu plus de souplesse sur la position de l'argument sur lequel on itère

Tu pourrais dire ~ get_sequences(data, Temp=.) pour itérer sur une variable qui donnerait un seuil de température, par exemple
et non plus itérer sur le premier argument, "data"

Si tu donnes le nom de la fonction, tu peux quand-même rajouter des arguments "secondaires"
mais tu les rajoutes directement comme arguments optionnels à la fonction "map", pas dans un simulacre d'appel à la fonction que tu itères

L'utilisation des formules c'est un subtilité introduite pour gérer les fonctions qui n'ont pas les arguments "dans l'ordre le plus pratique au regard de ce qu'on souhaite faire".

'''Question complémentaire'''

Et, pour finir, si je veux en sortir 1) le nombre total de séquences, et 2) la durée de la séquence la plus longue, est-ce que tu me conseilles de l'inclure dans la fct 'get_sequences', ou de repartir des résultats de cette fonction et d'alimenter une nouvelle ?

''' Réponse '''
Le nombre de total de séquences et la durée de la séquence la plus longue, ce sont des "agrégations" de ce que tu as fait avant. Or, il est possible que tu veuilles utiliser les résultats de get_sequences tels quels (par exemple pour des graphiques). Donc il vaut mieux faire en sorte que cette agrégation ait lieu dans un second temps => définition d'une nouvelle fonction par exemple.

En revanche, je pense que tu pourrais faire tourner ce calcul avant de "unnest" car tes séquences n'ont pas des identifiants uniques en l'état (les identifiants ne sont uniques que au sein des sous-jeux de données imbriqués)

avec n_distinct, je chope le nb total de séquences
Pour choper la durée de la séquence la plus longue, tu suggérerais quoi ?
<syntaxhighlight lang="r">
... %>%
group_by(sequence) %>%
summarise(duration=max(time)-min(time)) %>%
ungroup() %>%
mutate(n_sequences=n()) %>%
top_n(1,duration)
</syntaxhighlight>

le mutate (n_sequences=n()) te rajoute le nombre de séquences sans résumer (ça répète autant de fois que nécessaire la valeur n_sequences)
du coup après quand tu gardes que la top duration t'as quand-même l'info qu'il te faut
== Annonces de nouveau packages R ==

=== banqueHydro ===

[[https://github.com/lvaudor/banqueHydro]]

Pour "scraper" les données du site banqueHydro (en attendant l'API Hubeau [[https://github.com/BRGM/hubeau/projects]]).

== Annonces de formations/tutos/conf ==
* [[https://sigr2021.github.io/site/index.html|supports SIGR]] recommandé par defuneste
* [[https://blog.sellorm.com/2017/12/18/learn-to-write-command-line-utilities-in-r/|billet command line utilities in R]] recommandé par defuneste

Questions-r

2022-01-10T16:07:08Z

88.126.37.20 : arrange question martiste 2

Cette page reprend la "substantifique moelle" des échanges ayant eu lieu sur le channel '''questions-r''' du Discord d'ISIG.

== Manipulation d'un nom de fichier ==

'''Question posée par martiste'''

Comment récupérer un morceau du nom du fichier ? Par exemple à partir de '''"zarsqdfqsfd33vezre20618402.csv''' on veut récupérer '''20618402'''.

'''Réponse de lvaudor et sdunesme'''

Combi des '''expressions régulières''' et de la fonction '''basename()''':

<syntaxhighlight lang="r">
"za/rsqd/fqsfd33vezre20618402.csv" %>%
basename() %>% # donne "fqsfd33vezre20618402.csv"
stringr::str_replace(".csv","") %>% # donne "fqsfd33vezre20618402"
stringr::str_extract(pattern=".{8}(?=\\.$)") # donne "20618402"
</syntaxhighlight>

== Reformattage d'un fichier en "longueur" ==

'''Question de mcottet'''

J'ai une bdd avec plusieurs variables catégorielles qui portent une info similaire (est ce que les gens ont vu l'espèce A un peu, bcp, passionnément, à la folie ; idem pour l'espèce B, C...). Et j'aimerais faire une somme pour savoir combien de fois l'individu 1 a répondu un peu à l'ensemble des espèces proposées, bcp à l'ensemble des espèces...
il y a 18 espèces (donc 18 variables)

'''Réponse de lvaudor'''

'''tidyr::pivot_longer()'''

Dans ta version de BDD, tu as 18 variables différentes
Mais en fait, tu pourrais considérer que ces 18 colonnes correspondent en fait à 2 colonnes (une colonne "espece" et une colonne "valeur")
Tu cherches de ce fait à répéter l'ensemble des autres colonnes (toutes celles qui ne font pas partie des 18 sus-mentionnées) 18 fois, mais "en hauteur".
Du coup, ton tableau qui est "plutôt large" devient un tableau "plutôt long"

Dans l'appel à la fonction, tu précises quelles sont les variables que tu récupères pour les mettre "en long"
et toutes les autres, il les répète à l'identique autant de fois que nécessaire

A une époque, ça s'appelait pas pivot_wider() et pivot_longer() mais spread() et gather()
(mais c'était moins explicite comme nom)

== Complétion des données d'une série temporelle ==

'''Question de Théo'''

j'ai une série temporelle de hauteurs d'eau à pas de temps 15 min, mais il y a plein de trous dedans et je voudrais la compléter, en ajoutant l'heure manquante, et la hauteur d'eau manquante (moyenne de t-15 et t+15 si t est la valeur manquante).

'''Réponse de martiste'''

il faut que tu commences par te créer un index de temps à l'intervalle voulu, depuis ta première valeur jusqu'à la dernière, à laquelle tu joins ton jeu de données réel. Les trous vont alors apparaître en 'NA'. Et si tu n'as que quelques trous de jamais plus de 2 intervalles, tu peux utiliser la fonction zoo::na_approx() qui fera l'affaire...

<syntaxhighlight lang="r">
library(dplyr)
H_15_raw = readr::read_delim("H_15MIN_SB_CSV.csv", delim = ";") %>%
mutate(Date = lubridate::dmy_hm(Date))

timestamp = seq(from = min(H_15_raw$Date), to = max(H_15_raw$Date), by = "15 min") %>%
as_tibble() %>%
select(Date = value)

H_15_corr =
left_join(timestamp, H_15_raw, by ="Date") %>%
mutate(H_CM_SB_BH = zoo::na.approx(H_CM_SB_BH))
</syntaxhighlight>

Regarde ?na.approx pour plus de détails sur son fonctionnement

== Programmation fonctionnelle ==

'''Question de martiste'''

J'ai un jeu de données avec des températures à pas de temps horaire, le tout sur plusieurs années (et plusieurs stations). J'aimerais connaître, pour chaque année et pour chaque station, le nombre de séquences où la température a dépassé les 19°C, ainsi que la durée de la séquence la plus longue. Avec une boucle, j'aurais créé un nouveau champ pour lequel j'incrémente une valeur de séquence à chaque fois que T>19 et que T-1<19. Je regarde la valeur max de ma séquence, et la longueur max de ces séquences également. Mais comment faire sans boucle ?

'''Réponse de lvaudor'''

<syntaxhighlight lang="r">
get_sequences=function(donnees, Temp){
result = donnees %>%
mutate(change = case_when(chmes_valeur > Temp & lag(chmes_valeur <= Temp) ~ 1,
TRUE ~ 0)) %>%
mutate(sequence = case_when(chmes_valeur > Temp ~ cumsum(as.numeric(change)),
TRUE ~ NA_real_))
return(result)
}
result= dat %>%
group_by(chmes_coderhj,chmes_anneebiol) %>%
tidyr::nest() %>%
mutate(data=purrr::map(data,get_sequences,Temp=19)) %>%
tidyr::unnest(cols=c(data))
</syntaxhighlight>

ou bien (autre syntaxe possible pour map), comme ça:

<syntaxhighlight lang="r">
result= dat %>%
group_by(chmes_coderhj,chmes_anneebiol) %>%
tidyr::nest() %>%
mutate(data=purrr::map(data,~get_sequences(.,Temp=19))) %>%
tidyr::unnest(cols=c(data))
</syntaxhighlight>

Différence entre avec et sans '~' devant la fonction:

* soit map attend le nom d'une fonction
: Dans ce cas l'argument sur lequel il itère doit être le premier argument de la fonction
* soit map attend une formule (précédée d'un "~", donc)
: Dans ce cas il y a un peu plus de souplesse sur la position de l'argument sur lequel on itère

Tu pourrais dire ~ get_sequences(data, Temp=.) pour itérer sur une variable qui donnerait un seuil de température, par exemple
et non plus itérer sur le premier argument, "data"

Si tu donnes le nom de la fonction, tu peux quand-même rajouter des arguments "secondaires"
mais tu les rajoutes directement comme arguments optionnels à la fonction "map", pas dans un simulacre d'appel à la fonction que tu itères

L'utilisation des formules c'est un subtilité introduite pour gérer les fonctions qui n'ont pas les arguments "dans l'ordre le plus pratique au regard de ce qu'on souhaite faire".

'''Question complémentaire'''

Et, pour finir, si je veux en sortir 1) le nombre total de séquences, et 2) la durée de la séquence la plus longue, est-ce que tu me conseilles de l'inclure dans la fct 'get_sequences', ou de repartir des résultats de cette fonction et d'alimenter une nouvelle ?

''' Réponse '''
Le nombre de total de séquences et la durée de la séquence la plus longue, ce sont des "agrégations" de ce que tu as fait avant. Or, il est possible que tu veuilles utiliser les résultats de get_sequences tels quels (par exemple pour des graphiques). Donc il vaut mieux faire en sorte que cette agrégation ait lieu dans un second temps => définition d'une nouvelle fonction par exemple.

En revanche, je pense que tu pourrais faire tourner ce calcul avant de "unnest" car tes séquences n'ont pas des identifiants uniques en l'état (les identifiants ne sont uniques que au sein des sous-jeux de données imbriqués)

avec n_distinct, je chope le nb total de séquences
Pour choper la durée de la séquence la plus longue, tu suggérerais quoi ?
<syntaxhighlight lang="r">
... %>%
group_by(sequence) %>%
summarise(duration=max(time)-min(time)) %>%
ungroup() %>%
mutate(n_sequences=n()) %>%
top_n(1,duration)
</syntaxhighlight>

le mutate (n_sequences=n()) te rajoute le nombre de séquences sans résumer (ça répète autant de fois que nécessaire la valeur n_sequences)
du coup après quand tu gardes que la top duration t'as quand-même l'info qu'il te faut
== Annonces de nouveau packages R ==

=== banqueHydro ===

[[https://github.com/lvaudor/banqueHydro]]

Pour "scraper" les données du site banqueHydro (en attendant l'API Hubeau [[https://github.com/BRGM/hubeau/projects]]).

== Annonces de formations/tutos/conf ==

supports SIGR [[https://sigr2021.github.io/site/index.html]] par defuneste

Questions-r

2022-01-10T16:01:59Z

88.126.37.20 : arrange question martiste

Cette page reprend la "substantifique moelle" des échanges ayant eu lieu sur le channel '''questions-r''' du Discord d'ISIG.

== Manipulation d'un nom de fichier ==

'''Question posée par martiste'''

Comment récupérer un morceau du nom du fichier ? Par exemple à partir de '''"zarsqdfqsfd33vezre20618402.csv''' on veut récupérer '''20618402'''.

'''Réponse de lvaudor et sdunesme'''

Combi des '''expressions régulières''' et de la fonction '''basename()''':

<syntaxhighlight lang="r">
"za/rsqd/fqsfd33vezre20618402.csv" %>%
basename() %>% # donne "fqsfd33vezre20618402.csv"
stringr::str_replace(".csv","") %>% # donne "fqsfd33vezre20618402"
stringr::str_extract(pattern=".{8}(?=\\.$)") # donne "20618402"
</syntaxhighlight>

== Reformattage d'un fichier en "longueur" ==

'''Question de mcottet'''

J'ai une bdd avec plusieurs variables catégorielles qui portent une info similaire (est ce que les gens ont vu l'espèce A un peu, bcp, passionnément, à la folie ; idem pour l'espèce B, C...). Et j'aimerais faire une somme pour savoir combien de fois l'individu 1 a répondu un peu à l'ensemble des espèces proposées, bcp à l'ensemble des espèces...
il y a 18 espèces (donc 18 variables)

'''Réponse de lvaudor'''

'''tidyr::pivot_longer()'''

Dans ta version de BDD, tu as 18 variables différentes
Mais en fait, tu pourrais considérer que ces 18 colonnes correspondent en fait à 2 colonnes (une colonne "espece" et une colonne "valeur")
Tu cherches de ce fait à répéter l'ensemble des autres colonnes (toutes celles qui ne font pas partie des 18 sus-mentionnées) 18 fois, mais "en hauteur".
Du coup, ton tableau qui est "plutôt large" devient un tableau "plutôt long"

Dans l'appel à la fonction, tu précises quelles sont les variables que tu récupères pour les mettre "en long"
et toutes les autres, il les répète à l'identique autant de fois que nécessaire

A une époque, ça s'appelait pas pivot_wider() et pivot_longer() mais spread() et gather()
(mais c'était moins explicite comme nom)

== Complétion des données d'une série temporelle ==

'''Question de Théo'''

j'ai une série temporelle de hauteurs d'eau à pas de temps 15 min, mais il y a plein de trous dedans et je voudrais la compléter, en ajoutant l'heure manquante, et la hauteur d'eau manquante (moyenne de t-15 et t+15 si t est la valeur manquante).

'''Réponse de martiste'''

il faut que tu commences par te créer un index de temps à l'intervalle voulu, depuis ta première valeur jusqu'à la dernière, à laquelle tu joins ton jeu de données réel. Les trous vont alors apparaître en 'NA'. Et si tu n'as que quelques trous de jamais plus de 2 intervalles, tu peux utiliser la fonction zoo::na_approx() qui fera l'affaire...

<syntaxhighlight lang="r">
library(dplyr)
H_15_raw = readr::read_delim("H_15MIN_SB_CSV.csv", delim = ";") %>%
mutate(Date = lubridate::dmy_hm(Date))

timestamp = seq(from = min(H_15_raw$Date), to = max(H_15_raw$Date), by = "15 min") %>%
as_tibble() %>%
select(Date = value)

H_15_corr =
left_join(timestamp, H_15_raw, by ="Date") %>%
mutate(H_CM_SB_BH = zoo::na.approx(H_CM_SB_BH))
</syntaxhighlight>

Regarde ?na.approx pour plus de détails sur son fonctionnement

== Programmation fonctionnelle ==

'''Question de martiste'''

J'ai un jeu de données avec des températures à pas de temps horaire, le tout sur plusieurs années (et plusieurs stations). J'aimerais connaître, pour chaque année et pour chaque station, le nombre de séquences où la température a dépassé les 19°C, ainsi que la durée de la séquence la plus longue. Avec une boucle, j'aurais créé un nouveau champ pour lequel j'incrémente une valeur de séquence à chaque fois que T>19 et que T-1<19. Je regarde la valeur max de ma séquence, et la longueur max de ces séquences également. Mais comment faire sans boucle ?

'''Réponse de lvaudor'''

<syntaxhighlight lang="r">
get_sequences=function(donnees, Temp){
result = donnees %>%
mutate(change = case_when(chmes_valeur > Temp & lag(chmes_valeur <= Temp) ~ 1,
TRUE ~ 0)) %>%
mutate(sequence = case_when(chmes_valeur > Temp ~ cumsum(as.numeric(change)),
TRUE ~ NA_real_))
return(result)
}
result= dat %>%
group_by(chmes_coderhj,chmes_anneebiol) %>%
tidyr::nest() %>%
mutate(data=purrr::map(data,get_sequences,Temp=19)) %>%
tidyr::unnest(cols=c(data))
</syntaxhighlight>

ou bien (autre syntaxe possible pour map), comme ça:

<syntaxhighlight lang="r">
result= dat %>%
group_by(chmes_coderhj,chmes_anneebiol) %>%
tidyr::nest() %>%
mutate(data=purrr::map(data,~get_sequences(.,Temp=19))) %>%
tidyr::unnest(cols=c(data))

Différence entre avec et sans '~' devant la fonction:

* soit map attend le nom d'une fonction
: Dans ce cas l'argument sur lequel il itère doit être le premier argument de la fonction
* soit map attend une formule (précédée d'un "~", donc)
: Dans ce cas il y a un peu plus de souplesse sur la position de l'argument sur lequel on itère

Tu pourrais dire ~ get_sequences(data, Temp=.) pour itérer sur une variable qui donnerait un seuil de température, par exemple
et non plus itérer sur le premier argument, "data"

Si tu donnes le nom de la fonction, tu peux quand-même rajouter des arguments "secondaires"
mais tu les rajoutes directement comme arguments optionnels à la fonction "map", pas dans un simulacre d'appel à la fonction que tu itères

L'utilisation des formules c'est un subtilité introduite pour gérer les fonctions qui n'ont pas les arguments "dans l'ordre le plus pratique au regard de ce qu'on souhaite faire".

Et, pour finir, si je veux en sortir 1) le nombre total de séquences, et 2) la durée de la séquence la plus longue, est-ce que tu me conseilles de l'inclure dans la fct 'get_sequences', ou de repartir des résultats de cette fonction et d'alimenter une nouvelle ?
LiseV — 23/08/2021
ben pour le coup, le nombre de total de séquences et la durée de la séquence la plus longue, ce sont des "agrégations" de ce que tu as fait avant.
Or, il est possible que tu veuilles utiliser les résultats de get_sequences tels quels (par exemple pour des graphiques)
donc il vaut mieux faire en sorte que cette agrégation ait lieu dans un second temps
=> définition d'une nouvelle fonction par exemple
En revanche, je pense que tu pourrais faire tourner ce calcul avant de "unnest"
car tes séquences n'ont pas des identifiants uniques en l'état
(les identifiants ne sont uniques que au sein des sous-jeux de données imbriqués)
martiste — 23/08/2021
Yes
martiste — 23/08/2021
avec n_distinct, je chope le nb total de séquences
Pour choper la durée de la séquence la plus longue, tu suggérerais quoi ?
LiseV — 23/08/2021
tu calcules les durées pour toutes les séquences, puis tu calcules le max
hihi
bon j'imagine que si tu me poses cette question, c'est que le calcul des durées pose pb?
max(time)-min(time) fait pas le job?
en ayant formatté time avec lubridate?
(je dis "time" mais remplace par le nom de variable ad hoc 😉 )
martiste — 23/08/2021
Ah, j'étais parti sur complétement autre chose du coup....
LiseV — 23/08/2021
ben, group_by(sequence) %>% summarise(duration=max(time)-min(time)) me semble l'option la plus évidente a priori?
et même group_by(sequence) %>% summarise(duration=max(time)-min(time)) %>% top_n(1,duration), pour aller vraiment au bout du process
martiste — 23/08/2021
Et tu peux rajouter un 'group_by' au sein d'un 'summarise' ?
LiseV — 23/08/2021
??
tu peux faire group_by %>% mutate %>% ungroup() %>% group_by(autre chose) %>% summarise
mais je sais pas si ça répond à ta question
martiste — 23/08/2021
J'essaie de mettre les deux dans une même fonction, c'est pour ça
summarise(n = n_distinct(sequence, na.rm = TRUE))
et
group_by(sequence) %>% summarise(duration=max(time)-min(time)) %>% top_n(1,duration)
LiseV — 23/08/2021
Là tu pourrais faire group_by(sequence) %>% summarise(duration=max(time)-min(time)) %>% ungroup() %>% mutate(n_sequences=n()) %>% top_n(1,duration)
martiste — 23/08/2021
Qui ne se font pas au même niveau de groupage
Okay, yé test ça tout dé souite
LiseV — 23/08/2021
le mutate (n_sequences=n()) te rajoute le nombre de séquences sans résumer (ça répète autant de fois que nécessaire la valeur n_sequences)
du coup après quand tu gardes que la top duration t'as quand-même l'info qu'il te faut
martiste — 23/08/2021
Ahh, okay je vois. Mais il faut que j'enlève tous mes 'NA's, parce que c'est eux les 'top duration' pour le moment... 😉
LiseV — 23/08/2021
ah oui effectivement 🙂
martiste — 23/08/2021
pfiou ! Je crois que j'ai réussi
LiseV — 23/08/2021
🎆
martiste — 23/08/2021
Okay, la fonction 'top_n()', elle prend le premier élément d'un vecteur ordonné ? Ou elle prend la valeur max, et donc s'il y en a plusieurs identiques, elle va en sortir plusieurs ?
LiseV — 23/08/2021
non elle prend le max
c'est pour ça que tu lui précises aussi une variable
pour lui dire le max en terme de quoi
martiste — 23/08/2021
Mmh, okay, c'est pour ça que j'ai des doublons
martiste — 23/08/2021
Est-ce qu'il existe un moyen plus rapide de joindre plus de 2 tables que de répéter des jointures successives ?
(et plus élégant, au passage)

== Annonces de nouveau packages R ==

=== banqueHydro ===

[[https://github.com/lvaudor/banqueHydro]]

Pour "scraper" les données du site banqueHydro (en attendant l'API Hubeau [[https://github.com/BRGM/hubeau/projects]]).

== Annonces de formations/tutos/conf ==

supports SIGR [[https://sigr2021.github.io/site/index.html]] par defuneste