L'extension oracle_fdw

#se connecter au serveur target
psql -U <muyser>
CREATE EXTENSION oracle_fdw;
dew
CREATE SERVER orasrv FOREIGN DATA WRAPPER oracle_fdw (dbserver '<servername>:<port>/<SID>');
des+
GRANT USAGE ON FOREIGN SERVER orasrv TO <muyser>;
CREATE USER MAPPING FOR <muyser> SERVER orasrv OPTIONS ( USER '<oracle_user>', PASSWORD 'xxxx');
deu+
CREATE FOREIGN TABLE ext_<ORATBL> ( id int OPTIONS (key 'true'), name varchar(64), t_data timestamp) SERVER orasrv OPTIONS (SCHEMA '<ORAUSER>' , TABLE '<ORATBL>');

tuto : https://www.postgresql.fastware.com/postgresql-insider-fdw-ora-bas

Pré requis : 
- avoir une VM avec postgresql d'installé sur le meme VLAN qu'une base oracle avec Oracle instantclient-basic, instantclient-devel d'installé
- Ensure that pg_config is in your path, and ORACLE_HOME as well as LD_LIBRARY_PATH are configured
- avoir accès au compte postgres dans la bdd
- avoir accès à une base oracle en sysdba
- The <oracle_user> will obviously need CREATE SESSION privilege and the right to select from the table or view in question.

Bon à savoir : If a NUMBER is converted to a boolean, 0 means false, everything else true.

télécharger l'extension 

 

Calculate the value for memory postgresql parameters

Postgresql parameter : PostgreSQL Documentation: shared_buffers parameter (postgresqlco.nf)

(aide)tuner les paramètres postgresql : 

https://pgtune.leopard.in.ua/
https://www.enterprisedb.com/postgres-tutorials/how-tune-postgresql-guc-parameters
https://wiki.postgresql.org/wiki/Tuning_Your_PostgreSQL_Server
postgresqltuner.pl

parameter_working.xlsx

Ora2PG now supports oracle_fdw to increase the data migration speed

 

 

source : https://www.migops.com/blog/2021/07/01/ora2pg-now-supports-oracle_fdw-to-increase-the-data-migration-speed/

Désactiver le mode visual sur VI

J'ai remarqué un truc bien chiant sur les nouvelles VM linux : le clic droit de la souris ne peut plus coller...!

pour y remédier :

echo "set compatible" > ~/.vimrc
echo "set mouse-=a" >> ~/.vimrc

Les extensions indispensables

Pg_stat_statement

Pg_store_plan 

Pgsentinel

• pg_buffercache : état du cache
• pgstattuple (fragmentation des tables et index)
• Autoexplain

Source : https://public.dalibo.com/exports/formation/manuels/modules/x1/x1.handout.html

On tire la chasse et on nettoie ?

PostgreSQL - vacuumdb - vacuumdb — ramasse les ordures et analyse une base de données PostgreSQL Synopsi - Français (runebook.dev)

Modifier l'encodage PostgreSQL en UTF8

How to change PostgreSQL database encoding to UTF8 (shubhamdipt.com)

 

PostgreSQL bonnes pratiques

Restriction du schéma « public »
Définir des nouveaux tablespaces pour les données et indexes et temp et changer le nom du tablespace par défaut (data et temp)

 

PG_BADGER

pgbadger -j 4 --outfile $HOME/rapport_complet.html -f stderr -p '%t:%r:%u@%d:[%p]:' /pglog/postgresql-2021-09-10_000000.log

Upgrade Casssandra

upgrade.txt

Backup Cassandra

Pour sauvegarde incrémentale: 

 

incremental_backups à true dans le fichier .yaml

 

https://docs.datastax.com/en/cassandra-oss/2.2/cassandra/configuration/configCassandra_yaml.html#configCassandra_yaml__incremental_backups

 

 

backup : 

nodetool -h localhost -p 7199 snapshot mykeyspace

https://docs.datastax.com/en/cassandra-oss/2.2/cassandra/operations/opsBackupTakesSnapshot.html


supprimer backup : 

nodetool -h localhost -p 7199 clearsnapshot

restaurer : 

cp snapshots/1535397029191/* /path/to/keyspace1/standard1/

sstableloader --nodes 172.17.0.2 /var/lib/cassandra/loadme/keyspace1/standard1-f8a4fa30aa2a11e8af27091830ac5256/

https://docs.datastax.com/en/cassandra-oss/3.0/cassandra/operations/opsBackupSnapshotRestore.html

https://docs.datastax.com/en/cassandra-oss/2.2/cassandra/tools/toolsBulkloader.html

Calcul de stats postgreSQL

$PGHOME/bin/vacuumdb --port=$PORT --username=$PG_USER --analyze-only --verbose --jobs=$NB_JOBS $PG_DATABASE" 2>&1

DEPLOY HA postgres

deploy_HA.txt

Status instance postgres

POSTGRES_IS_RUNNING=$(export PGPASSWORD=${PG_PWD}; psql --host=${MACH_DEST} --port=${PORT} --user=${PG_USER} --dbname=postgres --quiet --tuples-only --no-psqlrc --command "SELECT 1;" 2>/dev/null)




INSTANCE_STATUS=$(export PGPASSWORD=${PG_PWD}; psql --host=${MACH_DEST} --port=${PORT} --user=${PG_USER} --dbname=postgres --quiet --tuples-only --no-psqlrc --command="SELECT CASE pg_is_in_recovery() WHEN true THEN 'IN RECOVERY' ELSE 'OPEN' END;" 2>/dev/null)

Service HAS

Faire repartir le service HAS.

Nettoyage : /grid/oracle/product/19.0/bin/crsctl stop has -f

Faire repartir : /grid/oracle/product/19.0/bin/crsctl start has

 

Référencement

Déjà il faut contacter le responsable des achats. 

Ensuite il faut demander un dossier pour être éligible au referencement.

 

Critère : la taille de la masse salariale. 

Répondre à un nombre de lots

Être accrédité CIR : crédit impôt recherche 

Avoir une RSE : responsabilité sociétale des entreprises 

 

 

 

[PostgreSQL] Voir les tables partitionnées

WITH RECURSIVE partition_info(relid, relname, relsize, relispartition, relkind)
AS (SELECT oid AS relid, relname, pg_relation_size(oid) AS relsize, relispartition, relkind
      FROM pg_catalog.pg_class
     WHERE relkind = 'p' AND relname = 'mof_ple_part' -- Pour une table donnee.
     UNION ALL
    SELECT c.oid AS relid, c.relname AS relname, pg_relation_size(c.oid) AS relsize,
           c.relispartition AS relispartition, c.relkind AS relkind
      FROM partition_info AS p, pg_catalog.pg_inherits AS i, pg_catalog.pg_class AS c
     WHERE p.relid = i.inhparent AND c.oid = i.inhrelid AND c.relispartition)

SELECT * FROM partition_info;
 

select relnamespace::regnamespace::text schema_name, oid::regclass::text table_name from pg_class
where relkind = 'p' and oid in (select distinct inhparent from pg_inherits)
order by schema_name, table_name;

[PostgreSQL] Voir les tablespaces

show default_tablespace ;

alter system set default_tablespace='tbs_msg_data' ;

select pg_reload_conf();

show default_tablespace 



show temp_tablespaces ;

alter system set temp_tablespaces='temp' ;

select pg_reload_conf();

show temp_tablespaces 

[ORACLE] Preupgrade fixups

fixup_b4_mig.pdf

[Cassandra] Changer mot de passe, changer nom de cluster

Changer mot de passe : 

 

modifier paramètres dans yaml : 

keystore_password
truststore_password 

 

Changer de nom de cluster :

1 -UPDATE system.local SET cluster_name = '<cluster_name>' where key='local';

2- nodetool flush system (recommended)

3. cluster_name update cassandra.yaml the name for the new cluster

4. Restart cassandra cluster

[MSSQL]Kill session

kill_session_mssql.pdf

MAJ Sequence

sqlplus -s user_admin/<mdp>@BDDREC << EOF > upd_seq.sql
SELECT 'SELECT setval('''||sequence_name||''','||last_number||', true);'
FROM user_sequences;
exit;
EOF
psql --single-transaction  -h $2 -U postgres -d $1 -f ./upd_seq.sql

Commenter fichier unix

sudo sed -i -e '/LATIN1/ s/^#/--/' /pgdata/migration/*dev*/*.sql

[MSSQL] Disable/Enable FK

disable FK

DECLARE @sql NVARCHAR(MAX) = N'';

;WITH x AS 
(
  SELECT DISTINCT obj = 
      QUOTENAME(OBJECT_SCHEMA_NAME(parent_object_id)) + '.' 
    + QUOTENAME(OBJECT_NAME(parent_object_id)) 
  FROM sys.foreign_keys
)
SELECT @sql += N'ALTER TABLE ' + obj + ' NOCHECK CONSTRAINT ALL;
' FROM x;

EXEC sp_executesql @sql;

enable FK 

DECLARE @sql NVARCHAR(MAX) = N'';

;WITH x AS 
(
  SELECT DISTINCT obj = 
      QUOTENAME(OBJECT_SCHEMA_NAME(parent_object_id)) + '.' 
    + QUOTENAME(OBJECT_NAME(parent_object_id)) 
  FROM sys.foreign_keys
)
SELECT @sql += N'ALTER TABLE ' + obj + ' WITH CHECK CHECK CONSTRAINT ALL;
' FROM x;

EXEC sp_executesql @sql;

Calcul stats PostgreSQL

for tablename in $(psql -U postgres -h $2 -d $1 -t -c "select table_name as _table from information_schema.tables t where t.table_schema='sche_admin' order by _table asc"); do

  echo $tablename

  psql -U postgres -h $2 -d $1 -c "analyze ${tablename};"

  psql -U postgres -h $2 -d $1 -c "select count(*) ${tablename} from ${tablename};" >> compte_pgsql.log

done

 

En // :

vacuumdb --port=$PORT --username=$PG_USER --analyze-only --verbose --jobs=4  $PG_DATABASE

Installation et configuration de Cassandra

en-HTCC-8.5.2-Dep-InitializingCassandra.pdf

en-GMS-8.5.2-Deployment-ConfiguringanExternalCassandra.pdf

 

Qqs prérequis :

Faut désactiver le swap

             Il y des warning lors de démarrage de cassandra : 

            WARN  [main] 2021-04-29 16:18:32,338 SigarLibrary.java:174 - Cassandra server running in degraded mode. Is swap disabled? : false,  Address space adequate? : true,  nofile limit adequate? : true, nproc limit adequate? : true

 

1. Mettre le paramètre system vm.max_map_count a 1048575 ( dans /etc/sysctl.d/ 99-sysctl.conf)

             WARN  [main] 2021-04-29 16:18:32,338 StartupChecks.java:311 - Maximum number of memory map areas per process (vm.max_map_count) 65530 is too low, recommended value: 1048575, you can change it with sysctl.

 

Il est recommander de mettre les commitlogs dans un FS dédié séparer des data.

• Monter le /var/lib/cassandra/commitlog sur sd (lvm) dédié ( 20GB de taille )

 

Changer le home de user cassandra en /home/cassandra au lieu de /var/lib/cassandra

 

Ajouter les lignes suivantes dans fichier .bash_profile

 

PATH=$PATH:$HOME/.local/bin:$HOME/bin

#

export CASSANDRA_HOME=/usr/share/cassandra

export CASSANDRA_INCLUDE=$CASSANDRA_HOME/cassandra.in.sh

export CASSANDRA_CONF=/etc/cassandra/conf

export CASSANDRA_OWNR=cassandra

export CASSANDRA_BIN=/usr/sbin/cassandra

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-1.el7_9.x86_64

#

PATH=$PATH:$CASSANDRA_BIN:$JAVA_HOME/jre/bin

export PATH

export PS1='[$LOGNAME@$HOSTNAME:W]$'

 

Faut installer le package jemalloc.x86_64

Découpage fichiers BDD MSSQL

split_db_mssql.pdf

Check READ ONLY MSSQL

check_read_only_MSSQL.pdf

Démarrer le service postgres

scr_demarre.pdf

[script] migration ora2pg

migration_ora2pg.pdf