5 raisons de choisir Spark

Un article intéressant sur Spark et l'intérêt qu'il porte à la mouvance Big Data.

 

Migration US7ASCII en AL32UTF8

ci dessous les étapes de migration :)

 

 

1 Exporter les FK   => manuel

2 Supprimer les FK => manuel 

3 Agrandir les colonnes trop petites => manuel

4 Exécuter script.sql , convertir/corriger les schémas => manuel

5 Exporter schéma -> Ré-Importer dans schéma_TEST(utf8) => manuel

6 Exporter schéma critique (version corrigée)  => manuel

7 PURGE DBA_RECYCLEBIN; "Convert"  => manuel / automatique 

8 Arrêter/Relancer la base, Importer les FK  => manuel

9 Changer NLS_LANG: export NLS_LANG=FRENCH_FRANCE.UTF8 => manuel

 

Tu comprends ... c'est tout con ...

 

 

le point 7 en détail :

 

1 Pré-conversion :

-restricted session

-désactive les triggers système

 

2 Conversion des tables applicatives

- agrandit les colonnes (ALTER TABLE...MODIFY...)

- désactive les triggers

 

3 Conversion du dictionnaire de données Oracle

- exécute des commandes update sur le schéma SYS

 

4 Exécution de la commande ALTER DATABASE CHARACTER SET INTERNAL_USE AL32UTF8;

 

Et ça , j'achète !!!

Convertir hexa (ASCII) en hexa (UTF-8)

            Hexa ASCII        Hexa UTF-8
Pour    é    remplacer    e9    par    C3A9
Pour    è    remplacer    e8    par    C3A8
Pour    ê    remplacer    ea    par    C3AA
Pour    °    remplacer    b0    par    C2B0
Pour    à    remplacer    e0    par    C3A0
Pour    µ    remplacer    b5    par    C2B5
Pour    ù    remplacer    f9    par    C3B9
Pour    ô    remplacer    f4    par    C3B4
Pour    ç    remplacer    e7    par    C3A7
Pour    oe    remplacer    9c    par    C593
Pour    â    remplacer    e2    par    C3A2
Pour    ±    remplacer    b1    par    C2B1
Pour    ’    remplacer    92    par    E28099
Pour    ø    remplacer    f8    par    C3B8
Pour    ‚    remplacer    82    par    2C
Pour    û    remplacer    fb    par    E220A6
Pour    OE    remplacer    8c    par    C592
Pour    …    remplacer    85    par    E280A6
Pour    Š    remplacer    8a    par    C5A0
Pour    ï    remplacer    ef    par    C3AF
Pour    –    remplacer    96    par    E28093
Pour    î    remplacer    ee    par    C3AE
Pour    [espace]    remplacer    a0    par    20
Pour    ý    remplacer    fd    par    C3BD

Update boucle toutes les 10000

declare i number := 0;
begin
  for r in (select id from dps_user)
  loop
    update dps_user
       set password = lower(password)
     where id = r.id;
  	i := i+1;
	if mod(i, 10000) = 0 THEN    -- Commit every 10000 records
	      COMMIT;
	end if;
  end loop;
commit;
end;

Migrer Oracle dans Spark

Using Spark with Oracle RDBMS

The first thing we need to do in order to use Spark with Oracle is to actually install Spark framework. This is a very easy task, even if you don’t have any clusters. There is no need for Hadoop installation or any kind of framework, other than Spark binaries.

The first step is to go to Spark download page and download a package. In my example, I used Pre-Built for Hadoop 2.6. This means that we don’t need Hadoop cluster – the Spark installation will come with all of its Hadoop prerequisites.

Réduire la taille des datafiles

Dans un soucis de réorg de l'espace , il est important de connaitre la taille utilisé dans les datafiles.
une fois cette information connue on peut réduire la taille du datafile et ainsi récupérer de l'espace disque.
La requete suivante affiche la taille utilisé dans chaque datafile (voir la colonne "used"):

Purger fichiers logs

Supprimer les fichiers log.xml vieux de plus de 15 jours

Supprimer les fichiers *.trc et *.trm de plus de 15 jours

Purger le fichier listener.log

Purger le fichier alert_SID.log

Tester les webinaires

Tester votre système

Ora2Pg - Migration tools

Il est possible d'importer directement des schémas Oracle vers Postgresql sans passer par des fichiers intermédiares.

Le but est d'automatiser les opérations de migration.

Le lien ci dessous donne le détail des options à configurer pour l'export de schémas Oracle. Les options sont à rajouter dans le fichier ora2pg.conf.

Postgresql - Install UNIX

Install de postgresql 6 sur : Debian Jessie  source

 Install Postgresql sur Debian Jessie : mode opératoire

Install de postgresql 6 sur Red hat Centos source

Install Postgresql sur Red hat Centos mode opératoire