MapReduce is a programming model for processing large data sets. It is based on two functions commonly used in functional programming : map and reduce. The Map function processes key/value pairs to generate a set of intermediate key/value pairs and the Reduce function merges all the same intermediate values. The most popular implementation of the MapReduce model is the Hadoop framework, an open source software maintained by Apache Fundation, which allows applications to run on large clusters of several machines. The Hadoop framework transparently provides both reliability and data transfer. It partitions the data and computation over many of hosts and maintain the execution of application computations in parallel close to their data when possible. It also provides powerful distributed file system capabilities. Large scale data are broken down onto blocks. The map and reduce functions can be executed on these subsets.This provides scalability needed for big data processing.
mardi 9 mai 2017
mercredi 22 juillet 2009
Introduction
Il y a exactement 30 mois, je cherchais un sujet pour mon projet de Fin d’Etude. Une société - celle pour laquelle je travaille actuellement- a proposé deux sujets de stage : un en relation avec les ERP et l’autre autour de l’ECM et le Groupware.
Je voulais à tout prix travailler sur les ERP, parce que tout simplement c’est à la mode de l’informatique et je pensais qu’on aurait plus de chance de trouver un emploi intéressant si on est intégrateur d’ERP. Malheureusement -à vrai dire heureusement- le sujet ERP a été déjà affecté.
Donc, soit nous (moi et mon binôme) acceptons de bosser sur l’ECM que je confondais avec CMS ou nous cherchons ailleurs. Finalement, nous avons décidé de nous aventurer dans ce domaine vu que ça sera à base de la technologie Java/J2EE (un élément à la mode) et que la société -qui vient d’être créée- se basera sur les études que nous effectuerons pour monter son offre commerciale.
Il est à noter que la société propose effectivement des services autour des solutions que nous avons retenues lors de nos études comparatives, je note également que le binôme qui a bossé sur l’ERP a retenu la solution Open Source :TinyERP appelé actuellement OpenERP. Mon collègue a initié un blog pour former les gens à cette solution http://ssarhani-openerp.blogspot.com.
Depuis les premiers jours du projet, les choses commencent à changer :
- Un ECM est beaucoup plus qu’un simple CMS, nous allons voir la différence dans cette série d’articles.
- Le type d’informations que l’entreprise doit gérer peut être réparti en deux classes : des données structurées (que les systèmes traditionnels savent gérer) et les données non structurées qui constituent la partie la plus importante (de point de vue quantité et impact). Les ECMs se chargent de traiter ce domaine.
- L’ECM est plus qu’une technologie, c’est un ensemble de méthodes, démarches, formalismes et outils qui organisent l’exercice du métier de l’entreprise. En se basant sur l’ensemble des projets que j’ai travaillé ces deux dernières années, je peux dire que l’ECM s’adapte très bien pour les entreprises qui souhaite instaurer une politique de gestion de la qualité (en se basant sur des normes d’organisation).
- L’ECM propose des solutions à des problématiques qui influencent directement l’efficacité et la productivité de l’entreprise peu importe son champs d’opération : ce n’est donc pas un luxe c’est une obligation.
J’ai initié ce blog pour partager ma modeste expérience en la matière avec vous. Je souhaite mettre en évidence - pour les non initiés que j’ai été au début de mon PFE- l’importance et la complexité de ce domaine. Je souhaite poster des réponses aux problématiques qui m’ont bloqué au cours de mon initiation. Je veille à publier périodiquement des articles qui permettent d’approfondir le concept sur les trois volets : applicatif, fonctionnel et technique. Toutefois, ceci reste un effort personnel qui doit être pris avec modération. Je compte sur votre sens de critique, vos remarques et corrections pour améliorer ces travaux.
Je voulais à tout prix travailler sur les ERP, parce que tout simplement c’est à la mode de l’informatique et je pensais qu’on aurait plus de chance de trouver un emploi intéressant si on est intégrateur d’ERP. Malheureusement -à vrai dire heureusement- le sujet ERP a été déjà affecté.
Donc, soit nous (moi et mon binôme) acceptons de bosser sur l’ECM que je confondais avec CMS ou nous cherchons ailleurs. Finalement, nous avons décidé de nous aventurer dans ce domaine vu que ça sera à base de la technologie Java/J2EE (un élément à la mode) et que la société -qui vient d’être créée- se basera sur les études que nous effectuerons pour monter son offre commerciale.
Il est à noter que la société propose effectivement des services autour des solutions que nous avons retenues lors de nos études comparatives, je note également que le binôme qui a bossé sur l’ERP a retenu la solution Open Source :TinyERP appelé actuellement OpenERP. Mon collègue a initié un blog pour former les gens à cette solution http://ssarhani-openerp.blogspot.com.
Depuis les premiers jours du projet, les choses commencent à changer :
- Un ECM est beaucoup plus qu’un simple CMS, nous allons voir la différence dans cette série d’articles.
- Le type d’informations que l’entreprise doit gérer peut être réparti en deux classes : des données structurées (que les systèmes traditionnels savent gérer) et les données non structurées qui constituent la partie la plus importante (de point de vue quantité et impact). Les ECMs se chargent de traiter ce domaine.
- L’ECM est plus qu’une technologie, c’est un ensemble de méthodes, démarches, formalismes et outils qui organisent l’exercice du métier de l’entreprise. En se basant sur l’ensemble des projets que j’ai travaillé ces deux dernières années, je peux dire que l’ECM s’adapte très bien pour les entreprises qui souhaite instaurer une politique de gestion de la qualité (en se basant sur des normes d’organisation).
- L’ECM propose des solutions à des problématiques qui influencent directement l’efficacité et la productivité de l’entreprise peu importe son champs d’opération : ce n’est donc pas un luxe c’est une obligation.
J’ai initié ce blog pour partager ma modeste expérience en la matière avec vous. Je souhaite mettre en évidence - pour les non initiés que j’ai été au début de mon PFE- l’importance et la complexité de ce domaine. Je souhaite poster des réponses aux problématiques qui m’ont bloqué au cours de mon initiation. Je veille à publier périodiquement des articles qui permettent d’approfondir le concept sur les trois volets : applicatif, fonctionnel et technique. Toutefois, ceci reste un effort personnel qui doit être pris avec modération. Je compte sur votre sens de critique, vos remarques et corrections pour améliorer ces travaux.
Inscription à :
Articles (Atom)