47e74b6eec47727653148210f65096c4b879b357
[tiramisu.git] / tiramisu / value.py
1 # -*- coding: utf-8 -*-
2 "takes care of the option's values and multi values"
3 # Copyright (C) 2013 Team tiramisu (see AUTHORS for all contributors)
4 #
5 # This program is free software: you can redistribute it and/or modify it
6 # under the terms of the GNU Lesser General Public License as published by the
7 # Free Software Foundation, either version 3 of the License, or (at your
8 # option) any later version.
9 #
10 # This program is distributed in the hope that it will be useful, but WITHOUT
11 # ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS
12 # FOR A PARTICULAR PURPOSE.  See the GNU Lesser General Public License for more
13 # details.
14 #
15 # You should have received a copy of the GNU Lesser General Public License
16 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
17 # ____________________________________________________________
18 from time import time
19 import sys
20 import weakref
21 from tiramisu.error import ConfigError, SlaveError, PropertiesOptionError
22 from tiramisu.setting import owners, expires_time, undefined
23 from tiramisu.autolib import carry_out_calculation
24 from tiramisu.i18n import _
25 from tiramisu.option import SymLinkOption
26
27
28 class Values(object):
29     """The `Config`'s root is indeed  in charge of the `Option()`'s values,
30     but the values are physicaly located here, in `Values`, wich is also
31     responsible of a caching utility.
32     """
33     __slots__ = ('context', '_p_', '__weakref__')
34
35     def __init__(self, context, storage):
36         """
37         Initializes the values's dict.
38
39         :param context: the context is the home config's values
40
41         """
42         self.context = weakref.ref(context)
43         # the storage type is dictionary or sqlite3
44         self._p_ = storage
45
46     def _getcontext(self):
47         """context could be None, we need to test it
48         context is None only if all reference to `Config` object is deleted
49         (for example we delete a `Config` and we manipulate a reference to
50         old `SubConfig`, `Values`, `Multi` or `Settings`)
51         """
52         context = self.context()
53         if context is None:
54             raise ConfigError(_('the context does not exist anymore'))
55         return context
56
57     def _getvalue(self, opt, path, is_default, index=undefined):
58         """actually retrieves the value
59
60         :param opt: the `option.Option()` object
61         :returns: the option's value (or the default value if not set)
62         """
63         setting = self._getcontext().cfgimpl_get_settings()
64         force_default = 'frozen' in setting[opt] and \
65             'force_default_on_freeze' in setting[opt]
66         if not is_default and not force_default:
67             value = self._p_.getvalue(path)
68             if index is not undefined:
69                 try:
70                     return value[index]
71                 except IndexError:
72                     #value is smaller than expected
73                     #so return default value
74                     pass
75             else:
76                 return value
77         #so default value
78         # if value has callback and is not set
79         if opt.impl_has_callback():
80             callback, callback_params = opt._callback
81             if callback_params is None:
82                 callback_params = {}
83             value = carry_out_calculation(opt, config=self._getcontext(),
84                                           callback=callback,
85                                           callback_params=callback_params,
86                                           index=index)
87             try:
88                 if isinstance(value, list) and index is not undefined:
89                     return value[index]
90                 return value
91             except IndexError:
92                 pass
93         meta = self._getcontext().cfgimpl_get_meta()
94         if meta is not None:
95             #FIXME : problème de longueur si meta + slave
96             #doit passer de meta à pas meta
97             #en plus il faut gérer la longueur avec les meta !
98             #FIXME SymlinkOption
99             value = meta.cfgimpl_get_values()[opt]
100             if isinstance(value, Multi):
101                 if index is not undefined:
102                     value = value[index]
103                 else:
104                     value = list(value)
105             return value
106         # now try to get default value
107         value = opt.impl_getdefault()
108         if opt.impl_is_multi() and index is not undefined:
109             if value is None:
110                 value = opt.impl_getdefault_multi()
111             else:
112                 try:
113                     value = value[index]
114                 except IndexError:
115                     value = opt.impl_getdefault_multi()
116         return value
117
118     def get_modified_values(self):
119         context = self._getcontext()
120         if context._impl_descr is not None:
121             for opt, path in context.cfgimpl_get_settings(
122             ).get_with_property('force_store_value'):
123                 self._getowner(opt, path, force_permissive=True)
124         return self._p_.get_modified_values()
125
126     def __contains__(self, opt):
127         """
128         implements the 'in' keyword syntax in order provide a pythonic way
129         to kow if an option have a value
130
131         :param opt: the `option.Option()` object
132         """
133         path = self._get_opt_path(opt)
134         return self._contains(path)
135
136     def _contains(self, path):
137         return self._p_.hasvalue(path)
138
139     def __delitem__(self, opt):
140         """overrides the builtins `del()` instructions"""
141         self.reset(opt)
142
143     def reset(self, opt, path=None):
144         if path is None:
145             path = self._get_opt_path(opt)
146         if self._p_.hasvalue(path):
147             context = self._getcontext()
148             setting = context.cfgimpl_get_settings()
149             opt.impl_validate(opt.impl_getdefault(),
150                               context, 'validator' in setting)
151             context.cfgimpl_reset_cache()
152             if opt.impl_is_master_slaves('master'):
153                 opt.impl_get_master_slaves().reset(self)
154             self._p_.resetvalue(path)
155
156     def _isempty(self, opt, value):
157         "convenience method to know if an option is empty"
158         empty = opt._empty
159         if value is not undefined:
160             empty_not_multi = not opt.impl_is_multi() and (value is None or
161                                                            value == empty)
162             empty_multi = opt.impl_is_multi() and (value == [] or
163                                                    None in value or
164                                                    empty in value)
165         else:
166             empty_multi = empty_not_multi = False
167         return empty_not_multi or empty_multi
168
169     def __getitem__(self, opt):
170         "enables us to use the pythonic dictionary-like access to values"
171         return self.getitem(opt)
172
173     def getitem(self, opt, validate=True, force_permissive=False,
174                 force_properties=None):
175         """
176         """
177         return self._get_cached_item(opt, validate=validate,
178                                      force_permissive=force_permissive,
179                                      force_properties=force_properties)
180
181     def _get_cached_item(self, opt, path=None, validate=True,
182                          force_permissive=False, force_properties=None,
183                          validate_properties=True):
184         if path is None:
185             path = self._get_opt_path(opt)
186         ntime = None
187         setting = self._getcontext().cfgimpl_get_settings()
188         if 'cache' in setting and self._p_.hascache(path):
189             if 'expire' in setting:
190                 ntime = int(time())
191             is_cached, value = self._p_.getcache(path, ntime)
192             if is_cached:
193                 if opt.impl_is_multi() and not isinstance(value, Multi):
194                     #load value so don't need to validate if is not a Multi
195                     value = Multi(value, self.context, opt, path)
196                 return value
197         val = self._getitem(opt, path, validate, force_permissive,
198                             force_properties, validate_properties)
199         if 'cache' in setting and validate and validate_properties and \
200                 force_permissive is False and force_properties is None:
201             if 'expire' in setting:
202                 if ntime is None:
203                     ntime = int(time())
204                 ntime = ntime + expires_time
205             self._p_.setcache(path, val, ntime)
206         return val
207
208     def _getitem(self, opt, path, validate, force_permissive, force_properties,
209                  validate_properties):
210         if opt.impl_is_master_slaves():
211             return opt.impl_get_master_slaves().getitem(self, opt, path,
212                                                         validate,
213                                                         force_permissive,
214                                                         force_properties,
215                                                         validate_properties)
216         else:
217             return self._get_validated_value(opt, path, validate,
218                                              force_permissive,
219                                              force_properties,
220                                              validate_properties)
221
222     def _get_validated_value(self, opt, path, validate, force_permissive,
223                              force_properties, validate_properties,
224                              index=undefined):
225         """same has getitem but don't touch the cache"""
226         #FIXME expliquer la différence entre index == undefined et index == None
227         context = self._getcontext()
228         setting = context.cfgimpl_get_settings()
229         is_default = self._is_default_owner(opt, path,
230                                             validate_properties=False,
231                                             validate_meta=False)
232         try:
233             if index is None:
234                 gv_index = undefined
235             else:
236                 gv_index = index
237             value = self._getvalue(opt, path, is_default, index=gv_index)
238             config_error = None
239         except ConfigError as err:
240             # For calculating properties, we need value (ie for mandatory
241             # value).
242             # If value is calculating with a PropertiesOptionError's option
243             # _getvalue raise a ConfigError.
244             # We can not raise ConfigError if this option should raise
245             # PropertiesOptionError too. So we get config_error and raise
246             # ConfigError if properties did not raise.
247             # cannot assign config_err directly in python 3.3
248             config_error = err
249             # value is not set, for 'undefined' (cannot set None because of
250             # mandatory property)
251             value = undefined
252
253         if config_error is None:
254             if index is undefined:
255                 force_index = None
256             else:
257                 force_index = index
258             if opt.impl_is_multi():
259                 if index is None and not isinstance(value, list):
260                     value = []
261                 if force_index is None:
262                     value = Multi(value, self.context, opt, path)
263             if validate:
264                 opt.impl_validate(value, context, 'validator' in setting,
265                                   force_index=force_index)
266             #FIXME pas de test avec les metas ...
267             #FIXME et les symlinkoption ...
268             if is_default and 'force_store_value' in setting[opt]:
269                 self.setitem(opt, value, path, is_write=False,
270                              force_permissive=force_permissive)
271         if validate_properties:
272             setting.validate_properties(opt, False, False, value=value,
273                                         path=path,
274                                         force_permissive=force_permissive,
275                                         force_properties=force_properties)
276         if config_error is not None:
277             raise config_error
278         return value
279
280     def __setitem__(self, opt, value):
281         raise ValueError(_('you should only set value with config'))
282
283     def setitem(self, opt, value, path, force_permissive=False,
284                 is_write=True):
285         # is_write is, for example, used with "force_store_value"
286         # user didn't change value, so not write
287         # valid opt
288         context = self._getcontext()
289         opt.impl_validate(value, context,
290                           'validator' in context.cfgimpl_get_settings())
291         if opt.impl_is_multi():
292             value = Multi(value, self.context, opt, path)
293             if opt.impl_is_master_slaves():
294                 opt.impl_get_master_slaves().setitem(self, opt, value, path)
295         self._setvalue(opt, path, value, force_permissive=force_permissive,
296                        is_write=is_write)
297
298     def _setvalue(self, opt, path, value, force_permissive=False,
299                   force_properties=None,
300                   is_write=True, validate_properties=True):
301         context = self._getcontext()
302         context.cfgimpl_reset_cache()
303         if validate_properties:
304             setting = context.cfgimpl_get_settings()
305             setting.validate_properties(opt, False, is_write,
306                                         value=value, path=path,
307                                         force_permissive=force_permissive,
308                                         force_properties=force_properties)
309         owner = context.cfgimpl_get_settings().getowner()
310         if isinstance(value, Multi):
311             value = list(value)
312         self._p_.setvalue(path, value, owner)
313
314     def getowner(self, opt, force_permissive=False):
315         """
316         retrieves the option's owner
317
318         :param opt: the `option.Option` object
319         :param force_permissive: behaves as if the permissive property
320                                  was present
321         :returns: a `setting.owners.Owner` object
322         """
323         if isinstance(opt, SymLinkOption):
324             opt = opt._opt
325         path = self._get_opt_path(opt)
326         return self._getowner(opt, path, force_permissive=force_permissive)
327
328     def _getowner(self, opt, path, validate_properties=True,
329                   force_permissive=False, validate_meta=True):
330         if validate_properties:
331             self._getitem(opt, path, True, force_permissive, None, True)
332         owner = self._p_.getowner(path, owners.default)
333         if validate_meta:
334             meta = self._getcontext().cfgimpl_get_meta()
335             if owner is owners.default and meta is not None:
336                 owner = meta.cfgimpl_get_values()._getowner(opt, path)
337         return owner
338
339     def setowner(self, opt, owner):
340         """
341         sets a owner to an option
342
343         :param opt: the `option.Option` object
344         :param owner: a valid owner, that is a `setting.owners.Owner` object
345         """
346         if not isinstance(owner, owners.Owner):
347             raise TypeError(_("invalid generic owner {0}").format(str(owner)))
348
349         path = self._get_opt_path(opt)
350         self._setowner(opt, path, owner)
351
352     def _setowner(self, opt, path, owner):
353         if self._getowner(opt, path) == owners.default:
354             raise ConfigError(_('no value for {0} cannot change owner to {1}'
355                                 '').format(path, owner))
356         self._p_.setowner(path, owner)
357
358     def is_default_owner(self, opt, validate_properties=True,
359                          validate_meta=True):
360         """
361         :param config: *must* be only the **parent** config
362                        (not the toplevel config)
363         :return: boolean
364         """
365         path = self._get_opt_path(opt)
366         return self._is_default_owner(opt, path,
367                                       validate_properties=validate_properties,
368                                       validate_meta=validate_meta)
369
370     def _is_default_owner(self, opt, path, validate_properties=True,
371                           validate_meta=True):
372         return self._getowner(opt, path, validate_properties,
373                               validate_meta=validate_meta) == owners.default
374
375     def reset_cache(self, only_expired):
376         """
377         clears the cache if necessary
378         """
379         if only_expired:
380             self._p_.reset_expired_cache(int(time()))
381         else:
382             self._p_.reset_all_cache()
383
384     def _get_opt_path(self, opt):
385         """
386         retrieve the option's path in the config
387
388         :param opt: the `option.Option` object
389         :returns: a string with points like "gc.dummy.my_option"
390         """
391         return self._getcontext().cfgimpl_get_description(
392         ).impl_get_path_by_opt(opt)
393
394     # information
395     def set_information(self, key, value):
396         """updates the information's attribute
397
398         :param key: information's key (ex: "help", "doc"
399         :param value: information's value (ex: "the help string")
400         """
401         self._p_.set_information(key, value)
402
403     def get_information(self, key, default=None):
404         """retrieves one information's item
405
406         :param key: the item string (ex: "help")
407         """
408         try:
409             return self._p_.get_information(key)
410         except ValueError:
411             if default is not None:
412                 return default
413             else:
414                 raise ValueError(_("information's item"
415                                    " not found: {0}").format(key))
416
417     def mandatory_warnings(self):
418         """convenience function to trace Options that are mandatory and
419         where no value has been set
420
421         :returns: generator of mandatory Option's path
422
423         """
424         #if value in cache, properties are not calculated
425         self.reset_cache(False)
426         context = self.context()
427         for path in context.cfgimpl_get_description().impl_getpaths(
428                 include_groups=True):
429             try:
430                 context.getattr(path,
431                                 force_properties=frozenset(('mandatory',)))
432             except PropertiesOptionError as err:
433                 if err.proptype == ['mandatory']:
434                     yield path
435         self.reset_cache(False)
436
437     def force_cache(self):
438         """parse all option to force data in cache
439         """
440         context = self.context()
441         if not 'cache' in context.cfgimpl_get_settings():
442             raise ConfigError(_('can force cache only if cache '
443                                 'is actived in config'))
444         #remove all cached properties and value to update "expired" time
445         context.cfgimpl_reset_cache()
446         for path in context.cfgimpl_get_description().impl_getpaths(
447                 include_groups=True):
448             try:
449                 context.getattr(path)
450             except PropertiesOptionError:
451                 pass
452
453     def __getstate__(self):
454         return {'_p_': self._p_}
455
456     def _impl_setstate(self, storage):
457         self._p_._storage = storage
458
459     def __setstate__(self, states):
460         self._p_ = states['_p_']
461
462
463 # ____________________________________________________________
464 # multi types
465
466
467 class Multi(list):
468     """multi options values container
469     that support item notation for the values of multi options"""
470     __slots__ = ('opt', 'path', 'context')
471
472     def __init__(self, value, context, opt, path):
473         """
474         :param value: the Multi wraps a list value
475         :param context: the home config that has the values
476         :param opt: the option object that have this Multi value
477         """
478         if isinstance(value, Multi):
479             raise ValueError(_('{0} is already a Multi ').format(opt._name))
480         self.opt = opt
481         self.path = path
482         if not isinstance(context, weakref.ReferenceType):
483             raise ValueError('context must be a Weakref')
484         self.context = context
485         if not isinstance(value, list):
486             value = [value]
487         super(Multi, self).__init__(value)
488
489     def _getcontext(self):
490         """context could be None, we need to test it
491         context is None only if all reference to `Config` object is deleted
492         (for example we delete a `Config` and we manipulate a reference to
493         old `SubConfig`, `Values`, `Multi` or `Settings`)
494         """
495         context = self.context()
496         if context is None:
497             raise ConfigError(_('the context does not exist anymore'))
498         return context
499
500     def __setitem__(self, index, value):
501         self._validate(value, index)
502         #assume not checking mandatory property
503         super(Multi, self).__setitem__(index, value)
504         self._getcontext().cfgimpl_get_values()._setvalue(self.opt, self.path,
505                                                           self)
506
507     def append(self, value=undefined, force=False, setitem=True):
508         """the list value can be updated (appened)
509         only if the option is a master
510         """
511         values = self._getcontext().cfgimpl_get_values()
512         if not force:
513             if self.opt.impl_is_master_slaves('slave'):
514                 raise SlaveError(_("cannot append a value on a multi option {0}"
515                                    " which is a slave").format(self.opt._name))
516         index = self.__len__()
517         if value is undefined:
518             try:
519                 value = values._get_validated_value(self.opt, self.path,
520                                                     True, False, None, True,
521                                                     index=index)
522             except IndexError:
523                 value = None
524         self._validate(value, index)
525         super(Multi, self).append(value)
526         if setitem:
527             values._setvalue(self.opt, self.path, self,
528                              validate_properties=not force)
529
530     def sort(self, cmp=None, key=None, reverse=False):
531         if self.opt.impl_is_master_slaves():
532             raise SlaveError(_("cannot sort multi option {0} if master or slave"
533                                "").format(self.opt._name))
534         if sys.version_info[0] >= 3:
535             if cmp is not None:
536                 raise ValueError(_('cmp is not permitted in python v3 or '
537                                    'greater'))
538             super(Multi, self).sort(key=key, reverse=reverse)
539         else:
540             super(Multi, self).sort(cmp=cmp, key=key, reverse=reverse)
541         self._getcontext().cfgimpl_get_values()._setvalue(self.opt, self.path,
542                                                           self)
543
544     def reverse(self):
545         if self.opt.impl_is_master_slaves():
546             raise SlaveError(_("cannot reverse multi option {0} if master or "
547                                "slave").format(self.opt._name))
548         super(Multi, self).reverse()
549         self._getcontext().cfgimpl_get_values()._setvalue(self.opt, self.path,
550                                                           self)
551
552     def insert(self, index, obj):
553         if self.opt.impl_is_master_slaves():
554             raise SlaveError(_("cannot insert multi option {0} if master or "
555                                "slave").format(self.opt._name))
556         super(Multi, self).insert(index, obj)
557         self._getcontext().cfgimpl_get_values()._setvalue(self.opt, self.path,
558                                                           self)
559
560     def extend(self, iterable):
561         if self.opt.impl_is_master_slaves():
562             raise SlaveError(_("cannot extend multi option {0} if master or "
563                                "slave").format(self.opt._name))
564         super(Multi, self).extend(iterable)
565         self._getcontext().cfgimpl_get_values()._setvalue(self.opt, self.path,
566                                                           self)
567
568     def _validate(self, value, force_index):
569         if value is not None:
570             try:
571                 self.opt.impl_validate(value, context=self._getcontext(),
572                                        force_index=force_index)
573             except ValueError as err:
574                 raise ValueError(_("invalid value {0} "
575                                    "for option {1}: {2}"
576                                    "").format(str(value),
577                                               self.opt._name, err))
578
579     def pop(self, index, force=False):
580         """the list value can be updated (poped)
581         only if the option is a master
582
583         :param index: remove item a index
584         :type index: int
585         :param force: force pop item (withoud check master/slave)
586         :type force: boolean
587         :returns: item at index
588         """
589         context = self._getcontext()
590         if not force:
591             if self.opt.impl_is_master_slaves('slave'):
592                 raise SlaveError(_("cannot pop a value on a multi option {0}"
593                                    " which is a slave").format(self.opt._name))
594             if self.opt.impl_is_master_slaves('master'):
595                 self.opt.impl_get_master_slaves().pop(
596                     context.cfgimpl_get_values(), index)
597         #set value without valid properties
598         ret = super(Multi, self).pop(index)
599         context.cfgimpl_get_values()._setvalue(self.opt, self.path, self,
600                                                validate_properties=not force)
601         return ret