dimanche 26 juin 2011

Performance Indicators of German Max Plank Gesellschaft Research Institutes

 
 

Envoyé par io2a via Google Reader :

 
 

via Scimago Lab Blog de Scimago Lab le 25/06/11

Felix de Moya Anegon. In the previous post on Performance Indicators of Spanish CSIC Research Institutes, we started up a series of post intended to characterize, through scientometrics methods, the research activity carried out at the huge Government Organizations leading National Systems of Science (National Research Councils and Science Academies), mainly in countries from Europe and Asia. Now, it is the turn of German Max Plank Gesellschaft. The following table (in PDF format) shows scientometric indicators of research output, impact and collaboration related to Max Plank research institutes. Its main goal does not consist in setting a league table of Max Plank centers, but to highlight some of the differential characteristics involving the research outcomes achieved by these institutes.

In order to show value trends, the table includes three consecutive 5-year periods (2003-2007, 2004-2008 and 2005-2009). Ranking criteria is the output of institutions during the period 2005-2009. Also, the institutes are color-marked to indicate which ones have Normalized Impact values higher than Max Plank NI average, which overpass German NI average and which ones fall below.

Beforehand, to help put the information in the table into context, we include here the same indicators referred to Max Plank entire institution and to Germany:

MAX PLANK Output % IC NI % Q1
2003-2007 46,111 64.1 1.8 73.5
2004-2008 48,338 64.5 1.8 72.7
2005-2009 50,038 65.0 1.8 72.2
GERMANY Output % IC NI % Q1
2003-2007 577,881 41.2 1.3 52.6
2004-2008 609,033 42.1 1.3 52.3
2005-2009 634,385 43.1 1.3 52.0

The indicators exposed are the following:

Output

The output or number of scientific papers published in scholarly journals reveals the ability of an institution to produce scientific knowledge. Output values are affected by institution sizes and research profiles, among others factors. The Output indicator forms the basis for more complex metrics. At co-authored publications a score is assigned to each contributing institution through the author's institutional address.

International Collaboration IC(%)

This indicator shows the ability of institutions to create international research links through the output ratio that has been produced in collaboration with foreign institutions. The values are computed by analyzing the institution's output whose affiliations include more than one country address.

Normalized Impact NI

Normalized Impact scores indicate the scientific impact that institutions have over the scientific community. In order to obtain a fair measurement of such impact, its calculation removes the influence due to institutions' size and research profile making it ideal for comparing research performance. Normalized Impact values show the ratio between the average scientific impact of an institution and the world average impact of publications of the same time frame, document type and subject category. The values are expressed in percentages and show the relationship of the institution's average impact to the world average, which is 1, –i.e. a score of 0.8 means the institution is cited 20% below world average and 1.3 means the institution is cited 30% above world average. Normalized Impact is computed using the methodology established by the Karolinska Intitutet in Sweden where it is named "Item oriented field normalized citation score average". The long name used is because the normalization of the citation values is done on an individual article level. Further information on the methodology at Bibliometric Handbook for Karolinska Institutet .

High Quality Publications Q1(%)

Ratio of publications an institution publishes in the world most influential scholarly journals. Journals considered for this indicator are those ranked in the first quartile (25%) in their categories as ordered by SCImago Journal Rank SJR indicator.

photoFélix de Moya Anegón is Research Professor at the Institute of Public Goods and Policies (IPP) from the Spanish National Research Council (CSIC), his academic interests include scientometrics, bibliometrics, research evaluation and science policy; he has published around 100 papers in these fields. He is SCImago Research Group's main researcher, where he has leaded renowned bibliometic projects including Scimago Journal & Country Rank, Scimago Institution Rankings and The Atlas of Science. Prof. De Moya is also advisor for Science Policy issues for national organizations of science and technology and research institutions around the world.


 
 

Ce que vous pouvez faire à partir de cette page :

 
 
à

Performance Indicators of German Max Plank Gesellschaft Research Institutes

 
 

Envoyé par io2a via Google Reader :

 
 

via Scimago Lab Blog de Scimago Lab le 25/06/11

Felix de Moya Anegon. In the previous post on Performance Indicators of Spanish CSIC Research Institutes, we started up a series of post intended to characterize, through scientometrics methods, the research activity carried out at the huge Government Organizations leading National Systems of Science (National Research Councils and Science Academies), mainly in countries from Europe and Asia. Now, it is the turn of German Max Plank Gesellschaft. The following table (in PDF format) shows scientometric indicators of research output, impact and collaboration related to Max Plank research institutes. Its main goal does not consist in setting a league table of Max Plank centers, but to highlight some of the differential characteristics involving the research outcomes achieved by these institutes.

In order to show value trends, the table includes three consecutive 5-year periods (2003-2007, 2004-2008 and 2005-2009). Ranking criteria is the output of institutions during the period 2005-2009. Also, the institutes are color-marked to indicate which ones have Normalized Impact values higher than Max Plank NI average, which overpass German NI average and which ones fall below.

Beforehand, to help put the information in the table into context, we include here the same indicators referred to Max Plank entire institution and to Germany:

MAX PLANK Output % IC NI % Q1
2003-2007 46,111 64.1 1.8 73.5
2004-2008 48,338 64.5 1.8 72.7
2005-2009 50,038 65.0 1.8 72.2
GERMANY Output % IC NI % Q1
2003-2007 577,881 41.2 1.3 52.6
2004-2008 609,033 42.1 1.3 52.3
2005-2009 634,385 43.1 1.3 52.0

The indicators exposed are the following:

Output

The output or number of scientific papers published in scholarly journals reveals the ability of an institution to produce scientific knowledge. Output values are affected by institution sizes and research profiles, among others factors. The Output indicator forms the basis for more complex metrics. At co-authored publications a score is assigned to each contributing institution through the author's institutional address.

International Collaboration IC(%)

This indicator shows the ability of institutions to create international research links through the output ratio that has been produced in collaboration with foreign institutions. The values are computed by analyzing the institution's output whose affiliations include more than one country address.

Normalized Impact NI

Normalized Impact scores indicate the scientific impact that institutions have over the scientific community. In order to obtain a fair measurement of such impact, its calculation removes the influence due to institutions' size and research profile making it ideal for comparing research performance. Normalized Impact values show the ratio between the average scientific impact of an institution and the world average impact of publications of the same time frame, document type and subject category. The values are expressed in percentages and show the relationship of the institution's average impact to the world average, which is 1, –i.e. a score of 0.8 means the institution is cited 20% below world average and 1.3 means the institution is cited 30% above world average. Normalized Impact is computed using the methodology established by the Karolinska Intitutet in Sweden where it is named "Item oriented field normalized citation score average". The long name used is because the normalization of the citation values is done on an individual article level. Further information on the methodology at Bibliometric Handbook for Karolinska Institutet .

High Quality Publications Q1(%)

Ratio of publications an institution publishes in the world most influential scholarly journals. Journals considered for this indicator are those ranked in the first quartile (25%) in their categories as ordered by SCImago Journal Rank SJR indicator.

photoFélix de Moya Anegón is Research Professor at the Institute of Public Goods and Policies (IPP) from the Spanish National Research Council (CSIC), his academic interests include scientometrics, bibliometrics, research evaluation and science policy; he has published around 100 papers in these fields. He is SCImago Research Group's main researcher, where he has leaded renowned bibliometic projects including Scimago Journal & Country Rank, Scimago Institution Rankings and The Atlas of Science. Prof. De Moya is also advisor for Science Policy issues for national organizations of science and technology and research institutions around the world.


 
 

Ce que vous pouvez faire à partir de cette page :

 
 
à

lundi 20 juin 2011

Performance Indicators of Spanish CSIC Research Institutes

 
 

Envoyé par io2a via Google Reader :

 
 

via Scimago Lab Blog de Scimago Lab le 20/06/11

Felix de Moya Anegon. The major European national research councils –Max Plank Society from Germany, Centre National de la Recherche Scientifique (CNRS) from France, Italian's Consiglio Nazionale delle Ricerche (CNR) or Spanish's Consejo Superior de Investigaciones Científicas (CSIC)– and science academies from Eastern Europe countries and Asia including China, Russia (russian only) or Ucrania have highly complex institutional structures consisting of tens or hundreds of research institutes with diverse scientific missions. From a scientometric point of view, the characterization of such institutional complexity demands the use of performance indicators that go beyond global structures and put the focus on each institute, research center and research laboratory that make up these scientific organizations.

With this in mind, this post starts up a series of posts devoted to characterizing the research activity carried out at national research councils and science academies all over the world, through scientometric methods and from an agglutinative perspective. The following table (in PDF format) shows scientometric indicators of research output, impact and collaboration related to Spanish's CSIC research institutes, its main goal does not consist in making a ranking table of CSIC centers, but to highlight some of the differential characteristics involving the research outcomes achieved by these institutes.

In order to show value trends, the table includes three consecutive 5-year periods (2003-2007, 2004-2008 and 2005-2009). Ranking criteria is the output of institutions during the period 2005-2009. Also, the institutes are color-marked to indicate which ones have Normalized Impact values higher than CSIC NI average, which overpass Spanish NI average and which ones fall below.

Beforehand, to help put the information in the table into context, we include here the same indicators referred to CSIC entire institution and to Spain. CSIC represents 15.3% of the total Spanish research output:

CSIC Output % IC NI % Q1
2003-2007 35,429 47.8 1.4 69.9
2004-2008 38,665 48.6 1.4 69.5
2005-2009 41,929 49.4 1.4 68.7
SPAIN Output % IC NI % Q1
2003-2007 230,731 33.3 1.1 49.3
2004-2008 252,422 33.9 1.1 48.4
2005-2009 273,482 34.8 1.1 47.8

The indicators exposed are the following:

Output

The output or number of scientific papers published in scholarly journals reveals the ability of an institution to produce scientific knowledge. Output values are affected by institution sizes and research profiles, among others factors. The Output indicator forms the basis for more complex metrics. At co-authored publications a score is assigned to each contributing institution through the author's institutional address.

International Collaboration IC(%)

This indicator shows the ability of institutions to create international research links through the output ratio that has been produced in collaboration with foreign institutions. The values are computed by analyzing the institution's output whose affiliations include more than one country address.

Normalized Impact NI

Normalized Impact scores indicate the scientific impact that institutions have over the scientific community. In order to obtain a fair measurement of such impact, its calculation removes the influence due to institutions' size and research profile making it ideal for comparing research performance. Normalized Impact values show the ratio between the average scientific impact of an institution and the world average impact of publications of the same time frame, document type and subject category. The values are expressed in percentages and show the relationship of the institution's average impact to the world average, which is 1, –i.e. a score of 0.8 means the institution is cited 20% below world average and 1.3 means the institution is cited 30% above world average. Normalized Impact is computed using the methodology established by the Karolinska Intitutet in Sweden where it is named "Item oriented field normalized citation score average". The long name used is because the normalization of the citation values is done on an individual article level. Further information on the methodology at Bibliometric Handbook for Karolinska Institutet .

High Quality Publications Q1(%)

Ratio of publications an institution publishes in the world most influential scholarly journals. Journals considered for this indicator are those ranked in the first quartile (25%) in their categories as ordered by SCImago Journal Rank SJR indicator.

photoFélix de Moya Anegón is Research Professor at the Institute of Public Goods and Policies (IPP) from the Spanish National Research Council (CSIC), his academic interests include scientometrics, bibliometrics, research evaluation and science policy; he has published around 100 papers in these fields. He is SCImago Research Group's main researcher, where he has leaded renowned bibliometic projects including Scimago Journal & Country Rank, Scimago Institution Rankings and The Atlas of Science. Prof. De Moya is also advisor for Science Policy issues for national organizations of science and technology and research institutions around the world.


 
 

Ce que vous pouvez faire à partir de cette page :

 
 
à

Les classements d’universités pointés du doigt / la Tribune.fr, 20.06.2011

 
 

Envoyé par io2a via Google Reader :

 
 

via (titre inconnu) de Blog Centre E. Durkheim le 20/06/11

Un rapport de l'Association européenne des universités critique leur manque de transparence et leurs conséquences négatives.

Shanghai, Times Higher Education (THE), QS… Les classements d'universités se multiplient et font de plus en plus la loi malgré les critiques dont ils font l'objet. Récemment, le QS World university rankings a ainsi décliné plusieurs nouveaux classements par discipline (informatique, chimie, médecine, biologie, sciences physiques et environnementales, arts et sciences humaines). En France, le gouvernement, bien que dénonçant ces classements, ne cache pas sa volonté de voir grâce à ses réformes (autonomie, regroupements…) et au grand emprunt, les universités françaises mieux représentées dans les tops 100 que trustent les MIT, Harvard, Cambridge et autres Stanford et supplantées par les grandes écoles (Polytechnique, Normale Sup…)… lire la suite

paru dans la Tribune, le 20/06/2011



 
 

Ce que vous pouvez faire à partir de cette page :

 
 
à

Les classements d’universités pointés du doigt / la Tribune.fr, 20.06.2011

 
 

Envoyé par io2a via Google Reader :

 
 

via (titre inconnu) de Blog Centre E. Durkheim le 20/06/11

Un rapport de l'Association européenne des universités critique leur manque de transparence et leurs conséquences négatives.

Shanghai, Times Higher Education (THE), QS… Les classements d'universités se multiplient et font de plus en plus la loi malgré les critiques dont ils font l'objet. Récemment, le QS World university rankings a ainsi décliné plusieurs nouveaux classements par discipline (informatique, chimie, médecine, biologie, sciences physiques et environnementales, arts et sciences humaines). En France, le gouvernement, bien que dénonçant ces classements, ne cache pas sa volonté de voir grâce à ses réformes (autonomie, regroupements…) et au grand emprunt, les universités françaises mieux représentées dans les tops 100 que trustent les MIT, Harvard, Cambridge et autres Stanford et supplantées par les grandes écoles (Polytechnique, Normale Sup…)… lire la suite

paru dans la Tribune, le 20/06/2011



 
 

Ce que vous pouvez faire à partir de cette page :

 
 
à

Performance Indicators of Spanish CSIC Research Institutes

 
 

Envoyé par io2a via Google Reader :

 
 

via Scimago Lab Blog de Scimago Lab le 20/06/11

Felix de Moya Anegon. The major European national research councils –Max Plank Society from Germany, Centre National de la Recherche Scientifique (CNRS) from France, Italian's Consiglio Nazionale delle Ricerche (CNR) or Spanish's Consejo Superior de Investigaciones Científicas (CSIC)– and science academies from Eastern Europe countries and Asia including China, Russia (russian only) or Ucrania have highly complex institutional structures consisting of tens or hundreds of research institutes with diverse scientific missions. From a scientometric point of view, the characterization of such institutional complexity demands the use of performance indicators that go beyond global structures and put the focus on each institute, research center and research laboratory that make up these scientific organizations.

With this in mind, this post starts up a series of posts devoted to characterizing the research activity carried out at national research councils and science academies all over the world, through scientometric methods and from an agglutinative perspective. The following table (in PDF format) shows scientometric indicators of research output, impact and collaboration related to Spanish's CSIC research institutes, its main goal does not consist in making a ranking table of CSIC centers, but to highlight some of the differential characteristics involving the research outcomes achieved by these institutes.

In order to show value trends, the table includes three consecutive 5-year periods (2003-2007, 2004-2008 and 2005-2009). Ranking criteria is the output of institutions during the period 2005-2009. Also, the institutes are color-marked to indicate which ones have Normalized Impact values higher than CSIC NI average, which overpass Spanish NI average and which ones fall below.

Beforehand, to help put the information in the table into context, we include here the same indicators referred to CSIC entire institution and to Spain. CSIC represents 15.3% of the total Spanish research output:

CSIC Output % IC NI % Q1
2003-2007 35,429 47.8 1.4 69.9
2004-2008 38,665 48.6 1.4 69.5
2005-2009 41,929 49.4 1.4 68.7
SPAIN Output % IC NI % Q1
2003-2007 230,731 33.3 1.1 49.3
2004-2008 252,422 33.9 1.1 48.4
2005-2009 273,482 34.8 1.1 47.8

The indicators exposed are the following:

Output

The output or number of scientific papers published in scholarly journals reveals the ability of an institution to produce scientific knowledge. Output values are affected by institution sizes and research profiles, among others factors. The Output indicator forms the basis for more complex metrics. At co-authored publications a score is assigned to each contributing institution through the author's institutional address.

International Collaboration IC(%)

This indicator shows the ability of institutions to create international research links through the output ratio that has been produced in collaboration with foreign institutions. The values are computed by analyzing the institution's output whose affiliations include more than one country address.

Normalized Impact NI

Normalized Impact scores indicate the scientific impact that institutions have over the scientific community. In order to obtain a fair measurement of such impact, its calculation removes the influence due to institutions' size and research profile making it ideal for comparing research performance. Normalized Impact values show the ratio between the average scientific impact of an institution and the world average impact of publications of the same time frame, document type and subject category. The values are expressed in percentages and show the relationship of the institution's average impact to the world average, which is 1, –i.e. a score of 0.8 means the institution is cited 20% below world average and 1.3 means the institution is cited 30% above world average. Normalized Impact is computed using the methodology established by the Karolinska Intitutet in Sweden where it is named "Item oriented field normalized citation score average". The long name used is because the normalization of the citation values is done on an individual article level. Further information on the methodology at Bibliometric Handbook for Karolinska Institutet .

High Quality Publications Q1(%)

Ratio of publications an institution publishes in the world most influential scholarly journals. Journals considered for this indicator are those ranked in the first quartile (25%) in their categories as ordered by SCImago Journal Rank SJR indicator.

photoFélix de Moya Anegón is Research Professor at the Institute of Public Goods and Policies (IPP) from the Spanish National Research Council (CSIC), his academic interests include scientometrics, bibliometrics, research evaluation and science policy; he has published around 100 papers in these fields. He is SCImago Research Group's main researcher, where he has leaded renowned bibliometic projects including Scimago Journal & Country Rank, Scimago Institution Rankings and The Atlas of Science. Prof. De Moya is also advisor for Science Policy issues for national organizations of science and technology and research institutions around the world.


 
 

Ce que vous pouvez faire à partir de cette page :

 
 
à

jeudi 9 juin 2011

Classement européen des universités : phase-test positive

 
 

Envoyé par io2a via Google Reader :

 
 


Vous présentez, le 9 juin 2011 à Bruxelles, les résultats de l'étude de faisabilité d'un classement global d'universités sur des critères multiples, baptisé U-Multirank. Cette phase test, de novembre 2010 à mars 2011, a porté sur 157 établissements dans 57 pays. Quel en est le bilan ?
Il est positif : le classement est tout à fait réalisable. Il reste juste quelques éléments d'ordre mineur à résoudre. Ce classement porte sur cinq dimensions : la recherche, l'enseignement, l'internationalisation, l'engagement régional et le transfert de connaissances. Nous envisageons de 5 à 10 critères par dimension. Dans l'ensemble, les retours des universités ont été très positifs. Certaines ont jugé que les questionnaires envoyés leur demandaient beaucoup de travail, notamment quand l'information demandée n'était pas centralisée. Le retour sur l'enquête de satisfaction des étudiants a également été très positif. Nous avons reçu 6.000 réponses d'étudiants sur les 157 universités.

La plupart des informations collectées auprès des établissements l'ont été par le biais de questionnaires en ligne. Comment vérifier ces informations qui reposent sur du déclaratif ?
Nous vérifions les informations collectées auprès des établissements en les comparant aux enquêtes statistiques nationales. Par exemple, sur le financement de la recherche, l'indicateur fourni par l'université est comparé aux chiffres nationaux. Si l'on constate une grande différence, on se retourne vers l'établissement pour vérifier. Ce projet nécessite une communication intense avec les universités. Par exemple, dans la phase de collecte de données, nous demandions systématiquement à chaque institution le nom d'un contact personnel. Et nous mettions à leur disposition un système de hotline pour répondre à leurs questions.

Quels sont les principaux problèmes rencontrés lors de cette phase test ?
Le critère sur l'implication régionale de l'université sur son territoire (en anglais regional engagement) est le plus difficile à mesurer. À la différence des autres dimensions pour lesquelles nous disposons de nombreuses données statistiques, ce n'est pas le cas pour cette dimension régionale. Nous avons envisagé plusieurs indicateurs : la part des diplômés qui s'insèrent en région, le nombre de stages réalisés en région ou encore le nombre de copublications régionales, impliquant un chercheur d'une université et un auteur issu du tissu industriel régional. Mais ces données n'existent pas ou sont très difficiles à collecter. Nous devons encore travailler sur cette dimension.

Avez-vous rencontré d'autres difficultés ?
Nous avons été surpris par le peu d'empressement des universités américaines et chinoises à participer. Au final, alors que nous avions contacté plusieurs établissements, nous n'avons eu, pour chacun des deux pays, qu'une seule université ayant répondu au questionnaire. En Chine, les établissements doivent demander l'autorisation au gouvernement pour participer à ce type d'enquête et visiblement le gouvernement chinois n'était pas intéressé. Peut-être avait-il peur que ces universités soient mal classées… Nous avons aussi reçu très peu de réponses en provenance des États-Unis. Nous avons contacté 20 universités américaines, 4 ont confirmé leur intérêt et, au final, une seule nous a retourné le questionnaire. Il semble que ces universités n'ont pas bien compris ce projet européen. Elles ont probablement pensé qu'elles avaient plus à y perdre qu'à y gagner en répondant à notre sollicitation. Pourtant, cette phase test ne débouche pas encore sur un classement public. Chaque institution ayant participé recevra ses propres résultats et aussi son rang par rapport à la moyenne. Cela lui permettra de se comparer et de voir ses forces et ses faiblesses.

Quelles ont été les bonnes surprises ?
Nous avons eu un bon retour de certaines régions comme l'Amérique latine, l'Afrique ou le Moyen-Orient qui sont des zones un peu négligées par les autres rankings souvent très axés sur la recherche. Les universités australiennes se sont également montrées très intéressées par le projet.

Quelle est la prochaine étape?
Si la Commission européenne confirme notre mission, nous pourrons passer à la phase d'application. On pourrait envisager de sortir un premier classement d'ici à deux ans. Outre la question des critères régionaux à clarifier, il faudra aussi élaborer l'outil interactif qui permettra à l'utilisateur d'effectuer une recherche en fonction de tel ou tel critère. Enfin, une difficulté sera de savoir combien d'institutions participeront. Pour l'Europe, nous serions satisfaits si nous pouvions obtenir les réponses de 700 établissements. C'est un objectif réaliste si l'on considère qu'il existe entre 3.000 et 4.000 universités au niveau du continent. Se pose pour nous la question du seuil de participation des établissements à partir duquel un tel ranking sera crédible. Que faire, par exemple, si les cinquante grandes institutions de recherche au plan mondial manquent à l'appel ? Je pense que c'est une démarche progressive. Quand le CHE a lancé le classement des universités en Allemagne il y a dix ans, il était difficile au début de convaincre les établissements de participer. Et puis, au fur et à mesure, les universités ont compris qu'elles ne pouvaient pas se permettre d'en être absentes.


(1) Le CHERPA regroupe cinq institutions en Europe spécialistes de l'évaluation des établissements : le Centre for Higher Education Policy Studies (CHEPS) de l'université de Twente et le Centre for Science and Technology Studies (CWTS) de l'université de Leiden aux Pays-Bas ; l'Université catholique de Louvain en Belgique ; côté français, l'Observatoire des sciences et des techniques (OST) ; et enfin le CHE (Centrum für Hochschulentwicklung de Gütersloh), centre de recherches allemand, sur le développement du supérieur.


 
 

Ce que vous pouvez faire à partir de cette page :

 
 
à

Classement européen des universités : phase-test positive

 
 

Envoyé par io2a via Google Reader :

 
 


Vous présentez, le 9 juin 2011 à Bruxelles, les résultats de l'étude de faisabilité d'un classement global d'universités sur des critères multiples, baptisé U-Multirank. Cette phase test, de novembre 2010 à mars 2011, a porté sur 157 établissements dans 57 pays. Quel en est le bilan ?
Il est positif : le classement est tout à fait réalisable. Il reste juste quelques éléments d'ordre mineur à résoudre. Ce classement porte sur cinq dimensions : la recherche, l'enseignement, l'internationalisation, l'engagement régional et le transfert de connaissances. Nous envisageons de 5 à 10 critères par dimension. Dans l'ensemble, les retours des universités ont été très positifs. Certaines ont jugé que les questionnaires envoyés leur demandaient beaucoup de travail, notamment quand l'information demandée n'était pas centralisée. Le retour sur l'enquête de satisfaction des étudiants a également été très positif. Nous avons reçu 6.000 réponses d'étudiants sur les 157 universités.

La plupart des informations collectées auprès des établissements l'ont été par le biais de questionnaires en ligne. Comment vérifier ces informations qui reposent sur du déclaratif ?
Nous vérifions les informations collectées auprès des établissements en les comparant aux enquêtes statistiques nationales. Par exemple, sur le financement de la recherche, l'indicateur fourni par l'université est comparé aux chiffres nationaux. Si l'on constate une grande différence, on se retourne vers l'établissement pour vérifier. Ce projet nécessite une communication intense avec les universités. Par exemple, dans la phase de collecte de données, nous demandions systématiquement à chaque institution le nom d'un contact personnel. Et nous mettions à leur disposition un système de hotline pour répondre à leurs questions.

Quels sont les principaux problèmes rencontrés lors de cette phase test ?
Le critère sur l'implication régionale de l'université sur son territoire (en anglais regional engagement) est le plus difficile à mesurer. À la différence des autres dimensions pour lesquelles nous disposons de nombreuses données statistiques, ce n'est pas le cas pour cette dimension régionale. Nous avons envisagé plusieurs indicateurs : la part des diplômés qui s'insèrent en région, le nombre de stages réalisés en région ou encore le nombre de copublications régionales, impliquant un chercheur d'une université et un auteur issu du tissu industriel régional. Mais ces données n'existent pas ou sont très difficiles à collecter. Nous devons encore travailler sur cette dimension.

Avez-vous rencontré d'autres difficultés ?
Nous avons été surpris par le peu d'empressement des universités américaines et chinoises à participer. Au final, alors que nous avions contacté plusieurs établissements, nous n'avons eu, pour chacun des deux pays, qu'une seule université ayant répondu au questionnaire. En Chine, les établissements doivent demander l'autorisation au gouvernement pour participer à ce type d'enquête et visiblement le gouvernement chinois n'était pas intéressé. Peut-être avait-il peur que ces universités soient mal classées… Nous avons aussi reçu très peu de réponses en provenance des États-Unis. Nous avons contacté 20 universités américaines, 4 ont confirmé leur intérêt et, au final, une seule nous a retourné le questionnaire. Il semble que ces universités n'ont pas bien compris ce projet européen. Elles ont probablement pensé qu'elles avaient plus à y perdre qu'à y gagner en répondant à notre sollicitation. Pourtant, cette phase test ne débouche pas encore sur un classement public. Chaque institution ayant participé recevra ses propres résultats et aussi son rang par rapport à la moyenne. Cela lui permettra de se comparer et de voir ses forces et ses faiblesses.

Quelles ont été les bonnes surprises ?
Nous avons eu un bon retour de certaines régions comme l'Amérique latine, l'Afrique ou le Moyen-Orient qui sont des zones un peu négligées par les autres rankings souvent très axés sur la recherche. Les universités australiennes se sont également montrées très intéressées par le projet.

Quelle est la prochaine étape?
Si la Commission européenne confirme notre mission, nous pourrons passer à la phase d'application. On pourrait envisager de sortir un premier classement d'ici à deux ans. Outre la question des critères régionaux à clarifier, il faudra aussi élaborer l'outil interactif qui permettra à l'utilisateur d'effectuer une recherche en fonction de tel ou tel critère. Enfin, une difficulté sera de savoir combien d'institutions participeront. Pour l'Europe, nous serions satisfaits si nous pouvions obtenir les réponses de 700 établissements. C'est un objectif réaliste si l'on considère qu'il existe entre 3.000 et 4.000 universités au niveau du continent. Se pose pour nous la question du seuil de participation des établissements à partir duquel un tel ranking sera crédible. Que faire, par exemple, si les cinquante grandes institutions de recherche au plan mondial manquent à l'appel ? Je pense que c'est une démarche progressive. Quand le CHE a lancé le classement des universités en Allemagne il y a dix ans, il était difficile au début de convaincre les établissements de participer. Et puis, au fur et à mesure, les universités ont compris qu'elles ne pouvaient pas se permettre d'en être absentes.


(1) Le CHERPA regroupe cinq institutions en Europe spécialistes de l'évaluation des établissements : le Centre for Higher Education Policy Studies (CHEPS) de l'université de Twente et le Centre for Science and Technology Studies (CWTS) de l'université de Leiden aux Pays-Bas ; l'Université catholique de Louvain en Belgique ; côté français, l'Observatoire des sciences et des techniques (OST) ; et enfin le CHE (Centrum für Hochschulentwicklung de Gütersloh), centre de recherches allemand, sur le développement du supérieur.


 
 

Ce que vous pouvez faire à partir de cette page :

 
 
à
Inscription à : Articles (Atom)